[논문 리뷰] A Diversity-Promoting Objective Function for Neural Conversation Models

Jiwei Li, Michel Galley외 3명|arXiv (Cornell University)|2015. 10. 11.

Topic Modeling참고 문헌 36인용 수 253

한 줄 요약

이 논문은 신경 대화 모델의 다양성과 품질을 향상시키기 위해 기존의 우도 최대화 대신 최대 상호정보량(MMI)을 목적 함수로 제안한다. 입력과 출력 간의 상호의존도를 최적화함으로써, '모르겠다'와 같은 일반적인 응답을 줄이고 더 다양한, 맥락에 부합하는 출력을 생성하며, 두 데이터셋에서 BLEU 점수와 인간 평가 모두에서 뚜렷한 향상을 이룬다.

ABSTRACT

Sequence-to-sequence neural network models for generation of conversational responses tend to generate safe, commonplace responses (e.g., "I don't know") regardless of the input. We suggest that the traditional objective function, i.e., the likelihood of output (response) given input (message) is unsuited to response generation tasks. Instead we propose using Maximum Mutual Information (MMI) as the objective function in neural models. Experimental results demonstrate that the proposed MMI models produce more diverse, interesting, and appropriate responses, yielding substantive gains in BLEU scores on two conversational datasets and in human evaluations.

연구 동기 및 목표

• 입력 맥락과는 무관하게 '모르겠다'와 같은 너무 일반적이고 반복적인 응답을 생성하는 신경 대화 모델의 문제를 해결하기 위해.
• 기존의 우도 기반 학습을 최대 상호정보량(MMI)으로 대체할 경우 응답의 다양성과 관련성 향상 여부를 조사하기 위해.
• 엔드 투 엔드 응답 생성을 위한 순서-순서 신경 모델에 MMI의 실용적 구현을 개발하기 위해.
• MMI가 자동 평가 지표(BLEU)와 인간 평가 기반의 응답 품질 및 다양성에 미치는 영향을 평가하기 위해.
• MMI 기반 모델이 표준 우도 학습 모델보다 더 맥락에 부합하고 의미적으로 풍부하며 덜 중복적인 응답을 생성함을 보여주기 위해.

제안 방법

• 표준 우도 목적 함수(P(response|input))를 입력과 출력 시퀀스 간의 상호의존도를 최대화하는 최대 상호정보량(MMI)으로 대체한다.
• MMI 목적 함수를 log P(input|response) - log P(input)로 공식화하여, 입력에 기반해 가능성이 높으면서도 그에 대해 정보가 풍부한 응답을 장려한다.
• 양방향 인코더와 어텐션 메커니즘을 사용한 순서-순서 LSTM 모델에 MMI 목적 함수를 구현하여 맥락 모델링 성능을 향상시킨다.
• 추론 중에 재순서 정렬 전략을 사용하여 MMI 목적 함수를 근사화하고, 상호정보량 점수를 최대화하는 응답을 선택한다.
• 높은 우도이지만 정보량이 낮은 출력을 억제하기 위해 반어휘모델(anti-LM)을 통합하여 더 일반적인 응답을 억제한다.
• MMI 목적 함수를 사용해 확률적 경사 하강법으로 엔드 투 엔드로 모델을 학습시켜 입력-응답 정렬의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 우도 목적 함수를 최대 상호정보량(MMI)으로 대체할 경우 신경 대화 모델이 일반적이고 반복적인 응답을 줄일 수 있는가?
• RQ2 표준 우도 학습 대비 MMI 목적 함수가 응답의 다양성과 관련성 향상에 기여하는가?
• RQ3 MMI 목적 함수가 BLEU와 같은 자동 평가 지표와 인간 평가 기반의 품질 점수에 얼마나 향상 효과를 미치는가?
• RQ4 자동 평가 및 인간 평가 모두에서 MMI 모델은 SMT 및 RNN 기반 재정렬 시스템과 같은 강력한 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 MMI 목적 함수는 학습 안정성이나 추론 속도를 해치지 않으면서 엔드 투 엔드 신경 순서-순서 모델에 효과적으로 적용될 수 있는가?

주요 결과

• MMI-bidi 모델은 표준 우도 기반 모델이 자주 생성하는 일반적인 응답 'I don't know'의 비율을 크게 감소시켰다.
• OpenSubtitles 데이터셋에서 MMI 모델은 기준 Seq2Seq 모델 대비 1.5 BLEU 포인트 향상되었고, Twitter 데이터셋에서는 1.2 BLEU 포인트 향상되었다.
• 인간 평가 결과 MMI-bidi는 기준 Seq2Seq 및 그레디 디코딩 모델을 모두 앞서며, MMI 응답에 대해 통계적으로 유의미한 선호도가 나타났다(p < 0.05).
• MMI-bidi 출력의 평균 인간 평가 점수는 5점 만점에 3.84로, 맥락에 부합하고 품질이 높다는 강한 인식을 보였다.
• N-best 목록 비교 분석을 통해 MMI 모델이 더 맥락에 특화되고 의미적으로 다양한 응답을 생성함을 확인했으며, 중복성이 낮고 정보량이 풍부한 응답을 생성한다.
• 반어휘모델(anti-LM) 구성 요소는 어휘 빈도가 높고 정보량이 낮은 응답을 억제함으로써 다양성을 추가로 향상시켰으며, 유창성이나 통일성은 저하되지 않았다.