[논문 리뷰] Joint System-Wise Optimization for Pipeline Goal-Oriented Dialog System

Zichuan Lin, Jing Huang외 3명|arXiv (Cornell University)|2021. 06. 09.

Topic Modeling참고 문헌 44인용 수 4

한 줄 요약

이 논문은 파이프라인 목표 지향 대화 시스템을 위한 종합적 시스템 수준 최적화를 제안하며, NLU 학습을 위한 자동 데이터 증강, 개선된 탐색을 위한 포아송 분포 기반 확률적 정책, 성공적인 대화 전환을 유도하는 보상 보너스를 도입한다. 이 방법은 MultiWOZ 2.1에서 시스템 수준 평가에서 93.8%의 성공률을 기록하고, 기존 작업 대비 인간 평가 성공률에서 16% 높은 성능을 달성한다.

ABSTRACT

Recent work (Takanobu et al., 2020) proposed the system-wise evaluation on dialog systems and found that improvement on individual components (e.g., NLU, policy) in prior work may not necessarily bring benefit to pipeline systems in system-wise evaluation. To improve the system-wise performance, in this paper, we propose new joint system-wise optimization techniques for the pipeline dialog system. First, we propose a new data augmentation approach which automates the labeling process for NLU training. Second, we propose a novel stochastic policy parameterization with Poisson distribution that enables better exploration and offers a principled way to compute policy gradient. Third, we propose a reward bonus to help policy explore successful dialogs. Our approaches outperform the competitive pipeline systems from Takanobu et al. (2020) by big margins of 12% success rate in automatic system-wise evaluation and of 16% success rate in human evaluation on the standard multi-domain benchmark dataset MultiWOZ 2.1, and also outperform the recent state-of-the-art end-to-end trained model from DSTC9.

연구 동기 및 목표

• 개별 모듈의 개선이 전체 시스템 성능 향상으로 이어지지 않는 파이프라인 대화 시스템의 성능 저하 요인을 해결한다.
• 대화 액트에서 역방향 생성을 통한 자동 레이블링을 통해 NLU 학습의 데이터 부족 문제를 해결한다.
• 포아송 분포를 활용한 새로운 확률적 정책 파rameterization을 통해 정책의 탐색 능력과 성공률을 향상시킨다.
• 성공적인 대화 경로 탐색을 유도하는 보상 보너스를 도입하여 전체 시스템 성공률을 향상시킨다.
• MultiWOZ 2.1에서 자동 평가 및 인간 평가 모두에서 경쟁적 파이프라인 시스템과 최신 엔드 투 엔드 모델을 초월한다.

제안 방법

• 대화 액트에서 다양한 발화를 생성하기 위해 사전 학습된 사용자 자연어 생성(NLG) 모델을 활용하는 데이터 증강 기법을 제안하며, 이를 통해 합성된 발화-액트 쌍으로 NLU를 학습시킨다.
• 대화 액트의 수를 제어하고 학습 중 더 효과적인 탐색을 가능하게 하기 위해 포아송 분포로 파arameter화된 확률적 정책 네트워크를 도입한다.
• 정책이 성공적인 대화 전환을 탐색하도록 유도하는 보상 보너스 메커니즘을 설계하여, 후속 NLU의 오류를 줄이고 정책의 일반화 능력을 향상시킨다.
• DST 및 NLG 모듈을 규칙 기반 베이스라인과 동일하게 고정한 채로, NLU와 정책 모듈을 종합적 시스템 수준 최적화 프레임워크에서 함께 학습시킨다.
• 데이터베이스 슬롯 매칭 기반으로 성공률을 측정하기 위해 의도 기반 사용자 시뮬레이터를 사용하는 종합적 시스템 평가 프로토콜을 적용한다.
• 제안된 확률적 정책과 보상 보너스를 사용하여 정책 그래디언트 방법을 적용해 정책을 종합적으로 최적화함으로써 시스템 수준 성공률을 향상시킨다.

실험 결과

연구 질문

• RQ1 파이프라인 목표 지향 대화 시스템에서 개별 모듈의 개선이 전체 시스템 성능 향상으로 이어지지 않는 주요 장애 요인은 무엇인가?
• RQ2 역방향 NLG 생성 기반 자동 데이터 증강이 자원이 제한된 환경에서 NLU 성능 향상에 크게 기여할 수 있는가?
• RQ3 포아송 분포 기반의 확률적 정책 파arameterization은 결정적 또는 기존의 확률적 정책 대비 더 나은 탐색과 높은 성공률을 제공하는가?
• RQ4 성공적인 대화 전환 탐색을 유도하는 보상 보너스가 정책의 일반화 능력과 전체 시스템 성공률 향상에 기여하는가?
• RQ5 NLU와 정책의 종합적 시스템 수준 최적화는 다중 도메인, 실제 환경 평가 설정에서 최신 엔드 투 엔드 모델보다 우수한 성능을 보이는가?

주요 결과

• 제안된 방법은 MultiWOZ 2.1에서 자동 종합적 시스템 평가에서 93.8%의 성공률을 기록하며, 규칙 기반 베이스라인 대비 12%포인트 향상되었다.
• 인간 평가에서는 규칙 기반 시스템 대비 16% 높은 성공률을 기록하여 실제 환경에서의 뛰어난 성능을 입증했다.
• 제거 실험 결과, 데이터 증강만으로도 성공률이 10%포인트 향상됨을 확인하여, 파이프라인 시스템에서 NLU가 주요 성능 저하 요인임을 입증했다.
• 포아송 분포 기반 정책는 기본 정책 대비 3%포인트 성공률 향상을 보이며, 행동 선택 시 제어된 확률성의 유용성을 입증했다.
• 보상 보너스 기법은 추가로 3%포인트의 성능 향상을 기록하여, 성공적인 경로 탐색을 유도하는 것이 학습 효율성을 높인다는 점을 확인했다.
• S-PPO 모델은 다중 도메인 작업에 잘 스케일링되며, 도메인 수가 1에서 3으로 증가함에 따라 성능 저하 없이 높은 성능을 유지한다. 반면 기존 기준 방법은 성능 저하가 심각하게 발생한다.