[논문 리뷰] Hierarchical Text Generation and Planning for Strategic Dialogue

Denis Yarats, Mike Lewis|arXiv (Cornell University)|2017. 12. 15.

Topic Modeling참고 문헌 19인용 수 29

한 줄 요약

이 논문은 문장 수준의 잠재 표현이 후속 대화 전환과 행동의 가능성을 최대화하도록 훈련시켜 대화 문장의 의미를 언어적 형식에서 분리하는 계층적 잠재변수 모델을 제안한다. 이러한 의미 인식 표현에 조건을 두고 생성함으로써 전략적 계획 수립을 향상시키고, 언어적 및 의미적 다양성을 높이며, 어휘 품질을 희생시키지 않은 채 안정적인 강화학습을 가능하게 하여, 과거 방법에 비해 임무 보상과 대화 품질 측면에서 모두 뛰어난 성능을 달성한다.

ABSTRACT

End-to-end models for goal-orientated dialogue are challenging to train, because linguistic and strategic aspects are entangled in latent state vectors. We introduce an approach to learning representations of messages in dialogues by maximizing the likelihood of subsequent sentences and actions, which decouples the semantics of the dialogue utterance from its linguistic realization. We then use these latent sentence representations for hierarchical language generation, planning and reinforcement learning. Experiments show that our approach increases the end-task reward achieved by the model, improves the effectiveness of long-term planning using rollouts, and allows self-play reinforcement learning to improve decision making without diverging from human language. Our hierarchical latent-variable model outperforms previous work both linguistically and strategically.

연구 동기 및 목표

• 종합적 대화 모델에서 언어적 형식과 전략적 의미의 얽힘 문제를 해결하여 효과적인 계획 수립과 강화학습을 방해하는 요소를 제거한다.
• 이산 잠재 표현을 통해 의미적으로 다양한 후보 메시지 생성을 가능하게 하여 대화 시스템의 장기적 계획 수립 능력을 향상시킨다.
• 강화학습을 통해 전략적 의사결정을 향상시키는 동안 어휘의 자연스러움을 유지한다.
• 메시지가 대화 연속성에 미치는 영향을 반영한 문장 표현을 생성함으로써 표면 형태만을 고려하는 것과는 다름을 목표로 한다.
• 의사결정의 의미적 의도와 언어적 실현 방식을 분리함으로써 전략적 대화에서 안정적인 자기대결 강화학습을 가능하게 한다.

제안 방법

• 모델는 즉각적인 메시지 $ x_t $ 가 아닌 향후 대화 전환과 행동의 가능성을 최대화함으로써 문장 수준의 이산 잠재 표현 $ z_t $ 를 학습함으로써 표면 형태가 아닌 의미적 영향을 포착한다.
• 계층적 생성 프레임워크를 사용하여 에이전트는 먼저 잠재 계획 $ z_t $ 를 샘플링한 후, 이 계획에 조건을 두고 응답을 생성함으로써 의도된 목표와의 일관성을 확보한다.
• 다양한 $ z_t $ 샘플을 사용하여 롤아웃을 수행함으로써 다양한 전략적 경로에 대한 기대 보상을 추정하고 장기적 계획 수립 능력을 향상시킨다.
• 강화학습은 $ z_t $ 를 선택하는 데 영향을 주는 파라미터를 미세조정함으로써 적용되며, 이는 유창성을 유지하면서 정책 개선을 가능하게 한다.
• 모델는 대화 이력과 향후 결과로부터 분리된 표현을 학습하기 위해 시퀀스 투 시퀀스 아키텍처에 가우시안 프로세스 기반의 변동형 오토인코더 유사한 구조를 사용한다.
• 잠재 공간은 유사한 의미적 영향이 다르게 표현된 표면 형태에도 불구하고 동일한 $ z_t $ 로 매핑되도록 유도하는 대비 목적함수를 통해 훈련된다.

실험 결과

연구 질문

• RQ1 대화 연속성에 미치는 영향을 기반으로 한 잠재 문장 표현 학습이 전략적 계획 수립과 최종 작업 성능 향상에 기여하는가?
• RQ2 의미적 의도와 언어적 실현 방식을 분리함으로써 더 다양한 응답과 일관성을 가진 대화가 생성되는가?
• RQ3 강화학습이 생성 텍스트의 어휘 유창성을 떨어뜨리지 않고도 대화 정책을 향상시킬 수 있는가?
• RQ4 잠재 계획을 통한 계층적 생성 방식이 의미적 다양성과 전략적 효과성 측면에서 순차적 생성 방식보다 어떻게 다른가?
• RQ5 분리된 표현이 전략적 대화에서 안정적인 자기대결 훈련을 얼마나 잘 지원하는가?

주요 결과

• 계층적 모델은 기준 모델 대비 10% 높은 최종 작업 보상을 달성하여 전략적 성능 향상을 입증하였다.
• 모델는 751개의 고유한 메시지 스트링을 생성하였으며, 이 중 18%만 OOV(Out-of-Vocabulary)였고, 전체 순차적 모델의 경우 60%였다는 점에서 더 나은 일반화 능력과 기억의 감소를 보였다.
• 자기일관성 오류(예: 아이템 소유권에 대한 모순적 진술)는 계층적 모델에서 11%였고, 전체 모델에서는 23%였으며, 이는 내부 일관성 향상을 시사한다.
• 계층적 모델은 대화 내 메시지 반복률을 1%로 줄였고, 기준 모델의 12%에 비해 더 나은 탐색 능력과 반복 전략에 대한 이용 감소를 보였다.
• 인간 평가 결과, 계층적 모델은 표면 형태가 크게 다를 경우에도 의미적으로 더 일관되고 언어적으로 더 다양한 응답을 생성함을 확인하였다.
• 다양한 잠재 코드를 사용한 롤아웃 기반 계획 수립은 효과적인 협상 전략 수립에 기여하였으며, 그림 5에서 모델가 여러 제안을 탐색한 후에 합의에 도달하는 모습을 확인할 수 있었다.