[논문 리뷰] Self-Supervised Dialogue Learning

Jiawei Wu, Xin Wang외 1명|arXiv (Cornell University)|2019. 06. 30.

Topic Modeling참고 문헌 45인용 수 6

한 줄 요약

이 논문은 대화의 문장 순서를 감독 신호로 활용하여 대화의 일관성을 향상시키기 위해 자기지도 학습 방법인 일관되지 않은 순서 탐지(consistent order detection)를 제안한다. 샘플링 기반 네트워크(SSN)를 사용하여 장거리 대화 의존성을 포착하고, 적대적 학습을 통해 대화 모델에 통합함으로써, 명시적인 다양성 목적 없이도 OpenSubtitles 및 Movie-Ticket Booking 데이터셋에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

The sequential order of utterances is often meaningful in coherent dialogues, and the order changes of utterances could lead to low-quality and incoherent conversations. We consider the order information as a crucial supervised signal for dialogue learning, which, however, has been neglected by many previous dialogue systems. Therefore, in this paper, we introduce a self-supervised learning task, inconsistent order detection, to explicitly capture the flow of conversation in dialogues. Given a sampled utterance pair triple, the task is to predict whether it is ordered or misordered. Then we propose a sampling-based self-supervised network SSN to perform the prediction with sampled triple references from previous dialogue history. Furthermore, we design a joint learning framework where SSN can guide the dialogue systems towards more coherent and relevant dialogue learning through adversarial training. We demonstrate that the proposed methods can be applied to both open-domain and task-oriented dialogue scenarios, and achieve the new state-of-the-art performance on the OpenSubtitiles and Movie-Ticket Booking datasets.

연구 동기 및 목표

• 대화 기록에서 순서의 중요성을 간과함으로써 발생하는 일관성 부족하고 지루한 문장 생성 문제를 해결하기 위해.
• 대화 생성의 일관성에 있어 핵심적이지만 간과되고 있는 문장 순서의 신호임을 규명하기 위해.
• 이 순서 신호를 명시적으로 모델링하기 위해 일관된 순서 탐지라는 자기지도 학습 과제를 제안하기 위해.
• 장기 대화 기록 인코딩에서 발생하는 忘却 문제를 완화하기 위해 샘플링 기반 네트워크(SSF)를 설계하기 위해.
• SSN을 공동 적대적 학습을 통해 대화 학습에 통합하여 더 일관되고 다양한 응답 생성을 가능하게 하기 위해.

제안 방법

• 샘플링된 문장 삼중체가 올바르게 순서가 지정되었는지 또는 잘못된 순서인지 예측하는 자기지도 학습 과제인 일관되지 않은 순서 탐지(consistent order detection)를 제안한다.
• 대화 기록에서 무작위로 샘플링된 문장 삼중체를 맥락 기반 참조로 사용하여 전체 기록을 근사하는 샘플링 기반 자기지도 네트워크(SSF)를 설계한다.
• 개별 문장을 인코딩하기 위해 양방향 LSTM(bi-LSTM)을 사용하고, 삼중체를 추론하기 위해 다른 bi-LSTM를 사용한 후, 최종 분류를 위해 다층 퍼셉트론(MLP)을 적용한다.
• SSN의 출력을 응답 생성기의 지도 신호로 활용하여, 번갈아가며 적대적 학습을 통해 SSN을 대화 학습에 통합한다.
• 개방형 및 임무 지향 대화 시스템 모두에 동일한 아키텍처를 적용하여 일반화성과 확장성을 입증한다.
• 일관된 성능 향상을 보이며, 순차적 생성(예: OpenSubtitles) 및 정책 학습(예: Movie-Ticket Booking) 설정 모두에 적용된다.

실험 결과

연구 질문

• RQ1 대화에서 문장의 순서를 모델링함으로써 생성된 응답의 일관성과 다양성 향상이 가능할 수 있는가?
• RQ2 문장 순서 탐지 기반의 자기지도 학습 과제가 명시적인 애너테이션 없이 대화 생성을 어떻게 향상시킬 수 있는가?
• RQ3 샘플링 기반 접근 방식이 장기 대화 기록을 효과적으로 근사하고, 순서 모델링에서의 忘却 문제를 줄일 수 있는가?
• RQ4 적대적 학습을 통해 순서 탐지 신호를 통합하면, 임무 지향 설정에서 더 나은 대화 정책 학습이 이루어지는가?
• RQ5 제안된 방법은 개방형 및 임무 지향 대화 시스템 모두에 일반화 가능한가?

주요 결과

• 제안된 방법은 OpenSubtitles 데이터셋에서 최신 기준 성능을 달성하였으며, 자동 평가 및 인간 평가 모두에서 이전 최신 기준 방법들을 능가한다.
• Movie-Ticket Booking 데이터셋에서 SSN 기반 판별기로 향상된 D3Q-SSN 에이전트가 모든 계획 단계에서 원본 D3Q를 능가했으며, 다중 턴 대화 설정에서 두드러진 성능 향상을 보였다.
• 인간 평가 결과, 특히 다중 턴 대화에서 응답 품질이 크게 향상되었으며, 제안된 방법이 기준 모델보다 65%의 경우에서 선호되었다.
• 명시적인 다양성 정규화 없이도 더 다양한 응답을 생성하는 것으로 나타나, 순서 인식 생성이 자연스럽게 다양성을 증진시킨다.
• SSF 기반 판별기는 저품질의 시뮬레이션 사용자 경험을 효과적으로 걸러내어, 계획 단계가 증가함에 따라 D3Q의 성능 저하를 줄였다.