[논문 리뷰] Regularizing Dialogue Generation by Imitating Implicit Scenarios

Shaoxiong Feng, Xuancheng Ren외 4명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 43인용 수 4

한 줄 요약

이 논문은 미래 대화 기록을 활용하여 암묵적으로 잠재적 맥락 지식을 모델링하는 시나리오 기반 대화 생성 프레임워크를 제안한다. 이는 응답의 관련성과 다양성을 향상시킨다. 교사 모델(미래 대화 터미널에 액세스 가능)이 가르치는 지식을 학생 모델(대화 기록만 접근 가능)에게 암시적 학습을 통해 전이함으로써, 추론 시 미래 맥락이 없더라도 응답 생성을 정규화하며, 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human dialogues are scenario-based and appropriate responses generally relate to the latent context knowledge entailed by the specific scenario. To enable responses that are more meaningful and context-specific, we propose to improve generative dialogue systems from the scenario perspective, where both dialogue history and future conversation are taken into account to implicitly reconstruct the scenario knowledge. More importantly, the conversation scenarios are further internalized using imitation learning framework, where the conventional dialogue model that has no access to future conversations is effectively regularized by transferring the scenario knowledge contained in hierarchical supervising signals from the scenario-based dialogue model, so that the future conversation is not required in actual inference. Extensive evaluations show that our approach significantly outperforms state-of-the-art baselines on diversity and relevance, and expresses scenario-specific knowledge.

연구 동기 및 목표

• 신경 대화 모델에서 맥락 특화 지식의 부족으로 인해 일반적이거나 관련 없는 응답을 생성하는 문제를 해결하기 위해.
• 실제 상호작용 맥락을 코딩하는 대화 기록과 미래 터미널을 모두 사용하여 잠재적 대화 시나리오를 모델링하기 위해.
• 학습 시 미래 맥락이 있는 반면 추론 시 미래 맥락이 없는 격차를 시나리오 지식 전이를 통해 보완하기 위해.
• 시나리오 인식 교사로부터의 계층적 감독 신호를 사용하여 학생 모델을 정규화함으로써 응답의 다양성과 관련성을 향상시키기 위해.
• 암묵적 시나리오 지식이 개방형 대화 생성에서 일반화 및 강건성 향상에 기여함을 입증하기 위해.

제안 방법

• 시나리오 기반 대화 모델는 {대화 기록, 미래 대화} 쌍을 기반으로 응답을 생성하여 암묵적으로 시나리오 인식 표현을 학습한다.
• 기존의 대화 모델(학생)은 암시적 학습을 통해 시나리오 기반 모델(교사)를 모방하도록 훈련되며, 모든 은닉층에서 감독 신호를 제공함으로써 신호 전파를 향상시킨다.
• 학생 모델는 교사의 중간 및 출력층에서의 정규화를 통해 드러나지 않는 노출 편향을 줄이고 학습 경로를 매끄럽게 한다.
• 다양한 교사(예: 사전 훈련된 언어 모델 포함)를 사용함으로써 지식 전이를 향상시키고 사전 지식을 풍부하게 하여 성능 향상을 이룬다.
• 암시적 학습을 통해 미래 대화를 내재화함으로써 추론 시 미래 대화가 필요 없도록 하여 실세계 구현에 실용적이다.
• 최종 출력뿐만 아니라 중간 표현까지도 전이하는 계층적 정규화를 사용함으로써 일반화 능력과 수렴 속도 향상.

실험 결과

연구 질문

• RQ1 미래 대화 터미널을 활용하여 대화 품질 향상에 기여하는 암묵적 시나리오 지식을 모델링할 수 있는가?
• RQ2 미래 맥락에서 유래한 시나리오 지식을 추론 시 대화 기록만 볼 수 있는 모델에 어떻게 전이할 수 있는가?
• RQ3 다층 감독 신호를 사용한 시뮬레이션 학습은 대화 생성 모델의 일반화 및 강건성 향상에 기여하는가?
• RQ4 암묵적 시나리오와 정규화의 통합이 기존 방법보다 더 나은 다양성과 관련성 성능을 낼 수 있는가?
• RQ5 여러 교사(예: 사전 훈련된 언어 모델 포함)의 사용은 이 프레임워크에서 성능과 지식 전이에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법 RegDG는 네 개의 대화 데이터셋에서 최신 기술 수준의 성능을 달성하며, 다양성 및 관련성 메트릭 모두에서 기존 베이스라인을 초월한다.
• DailyDialog 데이터셋에서 사전 훈련된 언어 모델을 추가 교사로 사용함으로써 Dist-1은 1.1에서 1.3으로, Dist-2는 4.4에서 5.0으로, BLEU는 19.1에서 19.4로 향상되었다.
• 다양한 교사를 사용한 모델은 유의미한 개선을 보였으며, 유일한 예외는 언어 모델의 무조건적 생성 성향으로 인해 관련성 지표가 약간 하락한 것뿐이었다.
• 더 많은 모듈을 사용한 하드 전이 방식은 수렴 속도를 가속화하여 검증 손실이 더 빨리 최저점에 도달했다.
• 제거 분석을 통해 계층적 정규화(다층 시뮬레이션)가 상단층 전용 정규화보다 더 효과적임을 확인하였으며, 지연 신호 문제를 줄였다.
• 광범위한 분석을 통해 암묵적 시나리오를 모방함으로써 학생 모델가 더 넓은 국소 최적점으로 향하게 되어 일반화 성능이 향상됨을 입증했다.