[논문 리뷰] A Study on Dialogue Reward Prediction for Open-Ended Conversational Agents

Heriberto Cuayáhuitl, Seonghan Ryu외 2명|arXiv (Cornell University)|2018. 12. 02.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 장기 대화 기록(25문장)을 활용하여 예측된 대화 품질과 인간 평가 품질 간 강한 상관관계(r=0.81)를 달성하는 신경망 대화 보상 예측기의 설계를 제안한다. 18,000개의 인간-인간 대화 데이터에 노이즈가 섞인 데이터 증강 전략을 적용하여, 평균 단어 임베딩을 사용한 회귀 모델을 훈련시키며, 짧은 기록에 비해 더 긴 컨텍스트 윈도우가 보상 예측 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

The amount of dialogue history to include in a conversational agent is often underestimated and/or set in an empirical and thus possibly naive way. This suggests that principled investigations into optimal context windows are urgently needed given that the amount of dialogue history and corresponding representations can play an important role in the overall performance of a conversational system. This paper studies the amount of history required by conversational agents for reliably predicting dialogue rewards. The task of dialogue reward prediction is chosen for investigating the effects of varying amounts of dialogue history and their impact on system performance. Experimental results using a dataset of 18K human-human dialogues report that lengthy dialogue histories of at least 10 sentences are preferred (25 sentences being the best in our experiments) over short ones, and that lengthy histories are useful for training dialogue reward predictors with strong positive correlations between target dialogue rewards and predicted ones.

연구 동기 및 목표

• 개방형 대화 에이전트에서 신뢰할 수 있는 대화 보상 예측을 위한 최적의 대화 기록 길이를 조사하는 것.
• 인간 평가의 대화 품질과 강하게 상관되는 실용적인 자동으로 레이블이 부여된 보상 함수를 개발하는 것.
• 다양한 대화 기록 길이가 신경망 대화 보상 예측기 성능에 미치는 영향을 평가하는 것.
• 이전 연구에서 사용된 짧은 컨텍스트보다 더 긴 대화 기록이 보상 예측 성능 향상에 기여한다는 경험적 증거를 제공하는 것.

제안 방법

• 저자들은 다른 대화에서 무작위로 선택한 응답으로 인간의 응답을 대체하여 다양한 수준의 대화 품질을 가진 노이즈가 섞인 대화 데이터셋을 생성한다.
• 각 대화는 노이즈의 정도(왜곡된 문장)에 따라 자동으로 수치 보상으로 레이블이 부여되며, 높은 값일수록 더 인간다운 응답을 의미한다.
• 대화 기록 문장의 평균 단어 임베딩을 사용하여 다양한 길이(1~50문장)의 입력 시퀀스를 가진 신경망 회귀기 모델을 훈련시킨다.
• 모델은 256차원의 은닉층, ReLU 활성화 함수, 드롭아웃(0.2), Adam 옵timizer, 평균 절대 오차(MAE) 손실 함수를 사용한다.
• 훈련는 80% 훈련 세트와 20% 검증 세트로 나누어 진행되며, 10 에포크 후 조기 종료를 적용하고, 각 기록 길이에 대해 10번의 랜덤 실행을 통해 안정성을 확보한다.
• 성능 평가는 테스트 세트에서 예측된 보상과 진짜 대화 보상 간 피어슨 상관계수를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 개방형 대화 에이전트에서 신뢰할 수 있는 대화 보상 예측을 위해 필요한 최적의 대화 기록 길이는 무엇인가?
• RQ2 대화 기록 길이가 증가함에 따라 대화 보상 예측 성능는 어떻게 변화하는가?
• RQ3 노이즈가 섞인, 자동으로 레이블이 부여된 데이터셋이 인간 평가와 상관되는 대화 보상 예측기를 효과적으로 훈련시킬 수 있는가?
• RQ4 더 긴 대화 기록을 사용할 경우, 짧은 기록에 비해 예측된 대화 품질과 실제 품질 간 상관계수가 더 강해지는가?

주요 결과

• 25문장의 대화 기록에서 예측된 보상과 진짜 보상 간 피어슨 상관계수(r=0.81)가 가장 높으며, 짧거나 긴 기록보다 우수한 성능을 보였다.
• 10문장 이상의 기록을 가진 대화는 강한 양의 상관관계(r≥0.72)를 보이며, 더 긴 기록이 예측 성능 향상에 기여한다는 것을 시사한다.
• 짧은 기록(1~3문장)은 약한 상관관계(r=0.09~0.31)를 보이며, 정확한 보상 추정을 위한 충분한 컨텍스트가 부족함을 시사한다.
• 50문장의 기록은 25문장에 비해 약간 낮은 상관계수(r=0.79)를 기록하여, 매우 긴 컨텍스트에서는 수익 감소 또는 과적합의 가능성을 시사한다.
• 자동으로 레이블이 부여된 노이즈가 섞인 데이터셋으로 훈련된 모델이 뛰어난 성능을 보이며, 보상 예측에 합성 레이블을 사용하는 것이 타당함을 입증한다.
• 이전 연구에서 2~3문장의 기록만을 사용한 것과는 달리, 본 연구 결과는 더 긴 컨텍스트 윈도우가 고품질 보상 예측을 위해 필수적임을 시사한다.