[논문 리뷰] Why Do Neural Dialog Systems Generate Short and Meaningless Replies? A Comparison between Dialog and Translation

Bolin Wei, Shuai Lu외 5명|arXiv (Cornell University)|2017. 12. 06.

Topic Modeling참고 문헌 12인용 수 10

한 줄 요약

이 논문은 신경 대화 시스템이 짧고 일반적인 응답을 생성하는 이유를 분석하기 위해 데이터 무작위화를 통해 기계 번역 작업에 대화 유사한 모호성을 시뮬레이션한다. 저자는 입력에 대해 다수의 타당한 응답을 인위적으로 생성함으로써 대화 시스템에서 관찰되는 동일한 열화된 행동을 재현하며, 모델 아키텍처가 아니라 응답의 모호성이 순서 기반 생성 모델에서 정보가 부족한 출력을 유도하는 핵심 원인임을 입증한다.

ABSTRACT

This paper addresses the question: Why do neural dialog systems generate short and meaningless replies? We conjecture that, in a dialog system, an utterance may have multiple equally plausible replies, causing the deficiency of neural networks in the dialog application. We propose a systematic way to mimic the dialog scenario in a machine translation system, and manage to reproduce the phenomenon of generating short and less meaningful sentences in the translation setting, showing evidence of our conjecture.

연구 동기 및 목표

• 신경 오픈 도메인 대화 시스템에서 짧고 의미 없는 응답이 발생하는 근본 원인을 규명하는 것.
• 대화 데이터에서 입력과 출력 간 엄격한 대응이 부족한 것이 모델의 열화를 유도하는지 여부를 확인하는 것.
• 인위적인 모호성을 도입함으로써 기계 번역과 같은 잘 정렬된 작업에서도 일반적인 응답 생성 현상이 재현되는지 테스트하는 것.
• 비정렬된 학습 조건 하에서 응답의 다양성과 정보량이 감소하는지 평가하는 것.

제안 방법

• 저자는 학습 데이터에서 원본 문장 쌍과 대상 문장 쌍의 순서를 무작위로 섞음으로써 기계 번역에 대화 유사한 모호성을 시뮬레이션한다.
• 저자는 원본 및 무작위로 섞인 번역 데이터 세트에서 표준 순서 기반 생성 모델을 학습시켜 모델의 행동을 비교한다.
• BLEU 점수, 응답 길이, 음수 로그 확률, 엔트로피를 사용하여 정보량과 다양성을 측정하기 위해 모델 출력을 평가한다.
• 해독 과정 중 RNN 은닉 상태와 시간 단계 간의 상관관계를 분석하여 길이 예측 능력을 평가한다.
• 무작위화 정도(25%, 50%, 75%, 100%)를 체계적으로 변화시켜 모델 행동에 미치는 영향을 관찰한다.
• 정상 번역, 무작위로 섞인 번역, 실제 대화 설정에서의 모델 출력을 비교하여 데이터 정렬의 영향을 고립한다.

실험 결과

연구 질문

• RQ1 왜 신경 대화 시스템은 번역 시스템에 비해 짧고 의미 없는 응답을 생성하는가?
• RQ2 대화 시스템에서 일반적인 응답 생성 현상이 기계 번역 환경에서 재현될 수 있는가?
• RQ3 무작위로 섞인 학습 쌍을 통해 인위적인 모호성을 도입하면 번역 모델의 응답 품질과 정보량이 떨어지는가?
• RQ4 대화 데이터의 비정렬성은 순서 기반 생성에서 응답 길이 예측 가능성에 어떤 영향을 미치는가?
• RQ5 학습 데이터의 모호성이 증가할수록 생성된 응답의 엔트로피와 정보량이 얼마나 감소하는가?

주요 결과

• 정상 설정에서는 대화 시스템이 기준 응답보다 평균 20% 짧은 응답을 생성하며, 음수 로그 확률과 엔트로피가 각각 0.71, 0.99 감소한다.
• 학습 데이터를 무작위로 섞어 대화 유사 모호성을 구현한 경우, 번역 모델은 무작위화 비율 증가에 따라 응답 길이, BLEU 점수, 정보량 측정 지표가 점진적으로 감소하는 경향을 보인다.
• 100% 무작위화 상태에서는 BLEU-1 점수가 12.5로 하락하고, BLEU-4는 0.00으로 떨어지며, 음수 로그 확률은 0.024로 급격히 감소하여 매우 일반적이고 정보가 부족한 출력임을 시사한다.
• 대화 시스템과 무작위로 섞인 번역 설정 모두에서 RNN 은닉 상태와 시간 단계 간 상관관계가 크게 감소하여 길이 예측 능력이 떨어지는 것으로 나타났다.
• 100% 무작위화 조건에서도 인코더 측에서는 상관관계가 99%로 상승하여 인코더와 디코더 네트워크에서 은닉 상태 역학이 다르게 영향을 받을 수 있음을 시사한다.
• 결과적으로 응답의 모호성(다수의 타당한 응답 존재)이 신경 대화 시스템에서 열악한 출력을 유도하는 핵심 요인임을 강력한 실증적 증거로 제시한다.