[논문 리뷰] An Auto-Encoder Matching Model for Learning Utterance-Level Semantic Dependency in Dialogue Generation

Liangchen Luo, Jingjing Xu외 3명|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 16인용 수 6

한 줄 요약

이 논문은 대화 생성에서 발화 수준의 의미적 종속성을 명시적으로 학습하기 위해 표현 학습을 위한 두 개의 비지도 자동에코더와 입력 및 응답 의미를 정렬하는 매핑 모듈을 결합한 Auto-Encoder Matching (AEM) 모델을 제안한다. AEM 모델은 응답의 자연스러움과 일관성을 크게 향상시켜 자동 평가 및 인간 평가 모두에서 최신 기준 성능을 달성하며, 특히 복잡한 입력에서 기준 모델들을 뛰어넘는 성능을 보인다.

ABSTRACT

Generating semantically coherent responses is still a major challenge in dialogue generation. Different from conventional text generation tasks, the mapping between inputs and responses in conversations is more complicated, which highly demands the understanding of utterance-level semantic dependency, a relation between the whole meanings of inputs and outputs. To address this problem, we propose an Auto-Encoder Matching (AEM) model to learn such dependency. The model contains two auto-encoders and one mapping module. The auto-encoders learn the semantic representations of inputs and responses, and the mapping module learns to connect the utterance-level representations. Experimental results from automatic and human evaluations demonstrate that our model is capable of generating responses of high coherence and fluency compared to baseline models. The code is available at https://github.com/lancopku/AMM

연구 동기 및 목표

• 기존의 순서-순서 모델이 입력-응답 관련성 부족으로 인해 성능이 떨어지는 개방형 대화 시스템에서 의미적으로 일관된 응답을 생성하는 데 도전하는 것.
• 단어 수준의 어텐션 메커니즘을 넘어서, 입력과 응답 간의 통합 의미 관계인 발화 수준의 의미적 종속성을 명시적으로 모델링하는 것.
• 표현 학습과 종속성 학습을 분리함으로써 표현 능력을 향상시키고, 응답 품질을 향상시키는 것.
• 발화 수준의 종속성과 단어 수준의 종속성을 조합할 경우 더 다양한 문맥에 부합하는 응답이 생성되는지 확인하는 것.

제안 방법

• 모델은 두 개의 LSTM 기반 자동에코더를 사용한다: 하나는 입력 발화를 의미 표현으로 인코딩하고, 다른 하나는 응답 시퀀스를 재구성함으로써 발화 수준 의미를 비지도로 학습한다.
• 각 자동에코더의 인코더와 디코더는 최종 은닉 상태를 발화 수준의 표현으로 사용하여 재구성 손실을 최소화하도록 훈련된다.
• 입력 발화 표현과 목표 응답 표현 간의 대응 관계를 학습하기 위해 매핑 모듈을 도입하여 발화 수준의 종속성을 명시적으로 모델링한다.
• 추론 과정에서는 학습된 매핑과 입력 표현을 기반으로 응답을 생성하는 맞춤형 디코더를 사용하며, 자동에코더 출력과 어텐션 메커니즘을 조합한 하이브리드 디코딩 전략을 적용한다.
• 두 자동에코더의 재구성 손실과 입력-응답 표현 정렬을 위한 매칭 손실을 함께 최적화하여 모델을 공동 훈련한다.
• 최종 응답 생성 과정에서는 자동에코더 디코더의 출력과 어텐션 메커니즘의 출력을 통합함으로써 단어 수준의 정렬을 향상시키면서도 발화 수준의 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 발화 수준의 의미적 종속성을 명시적으로 모델링하면 개방형 대화 시스템에서 생성된 응답의 일관성이 향상되는가?
• RQ2 표현 학습과 종속성 학습을 분리하면 대화 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ3 발화 수준의 종속성과 단어 수준의 종속성을 조합할 경우 응답의 자연스러움과 다양성이 얼마나 향상되는가?
• RQ4 AEM 모델은 복잡하거나 모호한 입력에서 표준 Seq2Seq 및 Seq2Seq+Attention 모델보다 더 잘 일반화되는가?

주요 결과

• AEM 모델은 BLEU-4 점수 0.68을 기록하여 Seq2Seq 모델 대비 0.68점 향상되었으며, 이는 Seq2Seq에 어텐션을 추가한 경우의 0.29점 향상보다 훨씬 크다.
• AEM 모델은 응답의 다양성을 높여 기준 모델 대비 약 6배 많은 고유한 트리거임을 생성하며, 34.6K개의 고유한 트리거를 기록한 반면 기준 모델은 6.1K개에 그친다.
• 인간 평가 결과 AEM 모델은 자연스러움과 일관성 평균 점수 7.8을 기록하여 Seq2Seq 모델을 뚜렷이 앞서며, 'I don’t know'와 같은 반복적인 응답 비율이 50% 감소했다.
• AEM+Attention 모델은 전체적으로 가장 뛰어난 성능을 보였으며, 어텐션을 추가함으로써 AEM 모델의 일관성 수준이 크게 향상되어 발화 수준과 단어 수준의 종속성 간 상호보완적 효과가 있음을 시사한다.
• 오류 분석 결과 모델는 알려지지 않은 단어(예: 'Bonjour'가 'Stay out of here'로 생성됨) 처리에 어려움을 겪는 것으로 나타나, 향후 작업에서 변동형 자동에코더를 통해 일반화 능력을 향상시킬 필요가 있음을 시사한다.