[논문 리뷰] Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System

Jianhong Wang, Yuan Zhang외 2명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling참고 문헌 54인용 수 2

한 줄 요약

이 논문은 작업 지향 대화 시스템에서 작업 성공률과 발화 이해 가능성 사이의 상충 관계를 해결하기 위해 대화 정책과 자연어 생성(NLG)을 옵션 기반 아키텍처로 모델링하는 계층적 강화학습 프레임워크 HDNO를 제안한다. 정책과 NLG를 이질적인 학습 방식으로 분리하고 언어 모델 기반 판별자로 보상 형상 조정을 통합함으로써, HDNO는 MultiWoz 2.0 및 2.1에서 최신 기술 수준의 성능을 달성하였으며, 자동 평가 및 인간 평가 지표에서 뚜렷한 향상을 보였다.

ABSTRACT

Designing task-oriented dialogue systems is a challenging research topic, since it needs not only to generate utterances fulfilling user requests but also to guarantee the comprehensibility. Many previous works trained end-to-end (E2E) models with supervised learning (SL), however, the bias in annotated system utterances remains as a bottleneck. Reinforcement learning (RL) deals with the problem through using non-differentiable evaluation metrics (e.g., the success rate) as rewards. Nonetheless, existing works with RL showed that the comprehensibility of generated system utterances could be corrupted when improving the performance on fulfilling user requests. In our work, we (1) propose modelling the hierarchical structure between dialogue policy and natural language generator (NLG) with the option framework, called HDNO, where the latent dialogue act is applied to avoid designing specific dialogue act representations; (2) train HDNO via hierarchical reinforcement learning (HRL), as well as suggest the asynchronous updates between dialogue policy and NLG during training to theoretically guarantee their convergence to a local maximizer; and (3) propose using a discriminator modelled with language models as an additional reward to further improve the comprehensibility. We test HDNO on MultiWoz 2.0 and MultiWoz 2.1, the datasets on multi-domain dialogues, in comparison with word-level E2E model trained with RL, LaRL and HDSA, showing improvements on the performance evaluated by automatic evaluation metrics and human evaluation. Finally, we demonstrate the semantic meanings of latent dialogue acts to show the explanability for HDNO.

연구 동기 및 목표

• 작업 지향 대화 시스템에서 작업 성공률과 발화 이해 가능성 사이의 상충 관계를 해결하기 위해.
• 명시적인 대화 액션 주석이 필요 없이 잠재 대화 액션 표현을 통해 대화 정책과 NLG 간의 계층적 관계를 모델링하기 위해.
• 계층적 강화학습 프레임워크에서 정책과 NLG 간의 이질적 업데이트를 통해 대화 정책과 NLG의 안정적이고 수렴 가능한 학습을 가능하게 하기 위해.
• 사전 훈련된 언어 모델을 기반으로 한 판별자를 추가 보상 신호로 활용하여 생성된 시스템 응답의 자연스러움과 일관성을 향상시키기 위해.

제안 방법

• 옵션 기반 아키텍처를 사용하여 대화 정책과 NLG 간의 계층적 관계를 모델링하는 계층적 강화학습 프레임워크인 HDNO를 제안하며, 옵션 공간으로서의 잠재 대화 액션을 활용한다.
• 정책과 NLG에 대해 별도의 탐색 및 업데이트 스케줄을 적용한 계층적 강화학습을 적용하여 이론적으로 국소 최대화자에 수렴하도록 보장한다.
• 정책과 NLG 간의 이질적 업데이트를 도입하여 학습 동역학을 분리하고 안정성을 향상시킨다.
• 사전 훈련된 언어 모델을 기반으로 한 판별자를 도입하여 생성된 발화의 이해 가능성 향상을 위한 자연어 수준의 보상 신호를 제공한다.
• 잠재 대화 액션을 정책과 NLG 간의 공유 표현으로 사용하여 수동으로 설계된 대화 액션 템플릿이 필요 없도록 한다.
• 작업 성공률과 판별자 기반 자연스러움 점수를 조합한 복합 보상 신호를 사용하여 종합적인 강화학습으로 시스템을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 옵션을 포함한 계층적 강화학습 프레임워크가 작업 지향 대화 시스템에서 작업 성공률과 발화 이해 가능성 향상에 기여할 수 있는가?
• RQ2 정책과 NLG 간의 이질적 학습이 공동 최적화 과정에서 수렴성과 안정성을 보장하는가?
• RQ3 언어 모델 기반 판별자가 생성된 시스템 응답의 자연스러움과 유창성을 효과적으로 향상시킬 수 있는가?
• RQ4 HDNO가 MultiWoz 2.0 및 2.1과 같은 다중 도메인 벤치마크에서 기존의 E2E 및 계층적 대화 모델보다 얼마나 뛰어난 성능을 보이는가?
• RQ5 학습된 잠재 대화 액션이 인간 이해를 위한 의미적으로 유의미하고 해석 가능한가?

주요 결과

• HDNO는 MultiWoz 2.0 및 2.1에서 RL, LaRL, HDSA로 훈련된 단어 수준의 E2E 모델들과 비교해 자동 평가 및 인간 평가 지표에서 뛰어난 성능을 달성하였다.
• 언어 모델 기반 판별자를 통합함으로써 생성된 시스템 발화의 이해 가능성은 크게 향상되었으며, 이는 작업 성공률에 영향을 주지 않았다.
• 정책과 NLG 간의 이질적 학습은 이론적으로 지원되는 바와 같이 안정적인 학습과 국소 최대화자 수렴을 가능하게 하였다.
• HDNO가 학습한 잠재 대화 액션은 의미적으로 유의미하며 일관된 대화 상태로 해석될 수 있어 모델의 해석 가능성성을 입증하였다.
• HDNO는 성공률과 자연스러움 모두에서 강력한 베이스라인 모델들을 능가하였으며, BLEU, BLEU-4 및 인간 평가 기반 자연스러움 점수에서 측정 가능한 향상을 보였다.
• 프레임워크는 정책과 NLG 학습을 효과적으로 분리하면서도 높은 성능을 유지하여 옵션 기반 계층적 아키텍처의 유효성을 입증하였다.