[논문 리뷰] Subgoal Discovery for Hierarchical Dialogue Policy Learning

Da Tang, Xiujun Li외 4명|arXiv (Cornell University)|2018. 04. 20.

Speech and dialogue systems인용 수 3

한 줄 요약

이 논문은 복잡한 목표 지향 대화에서 계층 강화 학습(HRL)을 가능하게 하기 위해 성공적인 대화 트래잭터리에서 의미 있는 서브목표를 자동으로 식별하는 비지도 학습 방법인 서브목표 탐지 네트워크(SDN)를 제안한다. 성공적인 경로에서 자주 방문되는 '허브' 상태를 탐지함으로써, 인간이 정의한 서브목표가 없이도 효율적인 정책 학습이 가능하며, 시뮬레이션 및 실제 사용자 환경 모두에서 전문가가 정의한 서브목표와 경쟁 가능한 성능을 달성한다.

ABSTRACT

Developing agents to engage in complex goal-oriented dialogues is challenging partly because the main learning signals are very sparse in long conversations. In this paper, we propose a divide-and-conquer approach that discovers and exploits the hidden structure of the task to enable efficient policy learning. First, given successful example dialogues, we propose the Subgoal Discovery Network (SDN) to divide a complex goal-oriented task into a set of simpler subgoals in an unsupervised fashion. We then use these subgoals to learn a multi-level policy by hierarchical reinforcement learning. We demonstrate our method by building a dialogue agent for the composite task of travel planning. Experiments with simulated and real users show that our approach performs competitively against a state-of-the-art method that requires human-defined subgoals. Moreover, we show that the learned subgoals are often human comprehensible.

연구 동기 및 목표

• 긴 복잡한 목표 지향 대화에서 보상이 희박하고 탐색이 비효율적인 문제를 해결하기 위해.
• 대화 정책 학습을 위한 계층 강화 학습(HRL)에서 인간이 정의한 서브목표가 필요 없도록 하기 위해.
• 성공적인 대화 트래잭터리에서 이해할 수 있고 구조적으로 의미 있는 서브목표를 자동으로 탐지하기 위해.
• 비지도 서브목표 탐지가 전문가가 제공한 서브목표를 사용한 HRL과 비교해 유사한 정책 성능을 낼 수 있음을 보여주기 위해.
• 실제 대화 시스템에 적용 가능한 확장성 있고 데이터 기반의 서브목표 탐지 방법을 제공하기 위해.

제안 방법

• SDN은 확률적 시퀀스 분할 모델을 사용하여 성공적인 대화 트래잭터리에서 자주 방문되지만 실패한 경우에는 드물게 나타나는 '허브' 상태를 식별한다.
• 허브 상태는 서브목표로 간주되며, 각 세그먼트가 별개의 서브작업에 해당하도록 대화를 세그먼트로 나눈다.
• 발견된 서브목표를 옵션으로 사용하여 계층 강화 학습(HRL)을 적용하며, 상위 수준 정책이 서브목표를 선택하고 하위 수준 정책이 기본 동작을 실행한다.
• HRL 프레임워크 내에서 탐색과 신용 할당을 안내하기 위해 서브목표 경계에 내재된 보상을 할당한다.
• 인간이 레이블링한 서브목표 정보가 전혀 필요 없이, 성공적인 대화 트래잭터리만을 활용한다.
• 서브목표 탐지는 보상 형상화나 보상 모델링이 아닌, 상태 방문 빈도와 트래잭터리 구조에 기반한 비지도 학습 방식이다.

실험 결과

연구 질문

• RQ1 인간의 감독 없이도 성공적인 대화 트래잭터리에서 서브목표를 자동으로 탐지할 수 있는가?
• RQ2 자동으로 탐지된 서브목표가 복잡한 대화 작업에서 효과적인 계층 정책 학습을 이끌 수 있는가?
• RQ3 자동으로 탐지된 서브목표를 사용한 성능가 인간이 정의한 서브목표를 사용한 성능와 비교해 어떻게 되는가?
• RQ4 탐지된 서브목표는 인간에게 이해 가능하고 의미 있는가?
• RQ5 이 방법은 실제 사용자 상호작용과 여행 계획과 같은 복합 작업과 같은 복잡한 작업으로 일반화될 수 있는가?

주요 결과

• SDN가 탐지한 서브목표를 사용해 훈련된 대화 에이전트는 시뮬레이션 및 실제 사용자 평가 모두에서 인간이 정의한 서브목표를 사용하는 최신 기술 수준의 에이전트와 경쟁 가능한 성능을 달성했다.
• SDN가 탐지한 서브목표를 사용한 에이전트는 어떤 서브목표도 없는 비계층 기반 에이전트보다 유의미하게 뛰어난 성능을 보였다.
• SDN가 탐지한 서브목표는 인간이 이해할 수 있었으며, 목적지 선택이나 항공권 예약과 같은 여행 계획 과정의 자연스러운 마일스톤에 해당하는 경우가 많았다.
• SDN는 낮은 품질이지만 성공적인 대화 트래잭터리의 소량만으로도 의미 있는 서브목표를 성공적으로 식별하여 노이즈가 있는 데이터에 대한 강건성을 입증했다.
• 이 방법은 장수평 대화 작업에서 보상의 희박성 문제를 효과적으로 완화하고 탐색 효율성을 향상시켰다.
• 결과적으로 비지도 서브목표 탐지가 HRL 기반 대화 시스템에서 전문가가 정의한 서브목표의 실질적인 대안이 될 수 있음을 시사한다.