[논문 리뷰] NEXUS Network: Connecting the Preceding and the Following in Dialogue Generation

Hui Su, Xiaoyu Shen외 2명|arXiv (Cornell University)|2018. 09. 27.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대화 히스토리와 향후 대화 맥락 양쪽과의 상호정보량을 최대화하여 응답의 일관성을 향상시키는 대화 생성 모델인 NEXUS Network를 제안한다. 유의미한 연속 코드 공간과 미분 가능한 변분 추론 프레임워크를 도입함으로써 이는 이산 토큰 기울기 의존 없이 엔드 투 엔드 학습이 가능하며, 두 가지 벤치마크 데이터셋에서 더 맥락에 부합하고 상호작용적인 응답을 생성한다.

ABSTRACT

Sequence-to-Sequence (seq2seq) models have become overwhelmingly popular in building end-to-end trainable dialogue systems. Though highly efficient in learning the backbone of human-computer communications, they suffer from the problem of strongly favoring short generic responses. In this paper, we argue that a good response should smoothly connect both the preceding dialogue history and the following conversations. We strengthen this connection through mutual information maximization. To sidestep the non-differentiability of discrete natural language tokens, we introduce an auxiliary continuous code space and map such code space to a learnable prior distribution for generation purpose. Experiments on two dialogue datasets validate the effectiveness of our model, where the generated responses are closely related to the dialogue context and lead to more interactive conversations.

연구 동기 및 목표

• 순차적 대화 모델에서 일반적이고 관련 없는 응답 문제를 해결하기 위해.
• 과거 대화 기록과 미래 맥락 양쪽과 의미적으로 연결된 응답을 보장함으로써 대화의 일관성을 향상시키기 위해.
• 이산 언어 토큰의 비가역성에도 불구하고 미분 가능한 훈련을 가능하게 하기 위해.
• 추론 시 향후 맥락이 존재하지 않는 상황을 대비해 연속 코드 공간에 대한 사전 분포를 학습함으로써.
• 후처리 재정렬이나 히우리스틱 디코딩에 의존하지 않고도 더 나은 응답 다양성과 관련성 확보를 위해.

제안 방법

• 대화 기록, 현재 발화, 향후 맥락을 모두 위한 공통 표현으로 사용하는 연속 코드 공간을 도입한다.
• 변분 추론을 사용하여 현재 발화와 과거 및 향후 맥락 간의 상호정보량을 최대화함으로써 미분 가능한 훈련을 가능하게 한다.
• 실제 향후 맥락이 없더라도 추론 시 효율적인 샘플링이 가능하도록 코드 공간 상의 사전 분포를 학습한다.
• 재구성 기법을 통해 이산 토큰을 통한 역전파가 가능하도록 코드 공간 상의 진짜 사후분포를 근사하는 변분 사후분포를 사용한다.
• 가중치 계수를 통해 과거 및 향후 맥락과의 상호정보량을 균형 잡는 공동 최적화 목표를 설정한다.
• 보조 코드 공간을 이산 출력으로 향하는 미분 가능한 다리로 사용하여 최대우도 추정을 통해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 응답과 과거 및 향후 대화 맥락 간의 상호정보량 최대화가 응답 품질 향상에 기여하는가?
• RQ2 이산 자연어 토큰을 다룰 때 상호정보량을 어떻게 미분 가능한 방식으로 최적화할 수 있는가?
• RQ3 연속 코드 공간 상의 학습 가능한 사전 분포가 향후 맥락이 제공되지 않은 추론 상황에서도 효과적인 응답 생성을 가능하게 하는가?
• RQ4 과거 및 향후 맥락을 동시에 모델링할 경우, 자동 회귀 기반 베이스라인 대비 더 일관되고 다양한 응답을 생성하는가?
• RQ5 제안된 방법이 '모르겠어요' 또는 '확실하지 않아요'와 같은 일반적인 응답 경향을 줄일 수 있는가?

주요 결과

• NEXUS Network는 과거 대화 기록과 향후 맥락 양쪽과의 강한 일치를 강제함으로써 '모르겠어요'나 '확실하지 않아요'와 같은 일반적인 응답의 빈도를 크게 감소시킨다.
• Ubuntu 및 DailyDialog 데이터셋에서 블루, BLEU-4, distinct-4 점수 모두 높아져 어법 향상과 다양성 향상을 나타낸다.
• 인간 평가 결과, NEXUS가 생성한 응답은 더 일관되고 상호작용적이며 대화 맥락과의 관련성이 높다.
• 자동 평가 및 인간 평가 모두에서 seq2seq, VAE 기반 모델, 재정렬 접근법과 같은 강력한 베이스라인을 능가한다.
• 절단 실험 결과, 과거 및 향후 맥락을 동시에 모델링할 경우 한 방향만 모델링하는 것보다 더 우수한 성능을 내는 것으로 확인되었다.
• 코드 공간 상의 학습 가능한 사전 분포를 사용함으로써, 실제 향후 발화가 없더라도 추론 시 효과적인 샘플링이 가능하다.