[논문 리뷰] Dialogue Response Ranking Training with Large-Scale Human Feedback Data

Xiang Gao, Yizhe Zhang외 3명|arXiv (Cornell University)|2020. 09. 15.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 Reddit에서 수집한 133만 개의 인간 피드백 데이터 쌍(업보트, 응답, 스레드 깊이)을 기반으로 GPT-2 기반의 응답 랭킹 모델인 DialogRPT을 제안한다. 이는 응답의 매력도를 예측하기 위해 쌍별 비교를 통해 혼동 요인을 줄이는 방식으로 설계되었으며, 전통적인 퍼플렉서티 기반 기준보다 우수한 성능을 보이며 인게이지먼트 평가에서 인간 선호도 평가와도 높은 일치를 보였다. 이는 피드백 신호가 기존 메트릭보다 인간의 참여도와 더 밀접한 상관관계를 가진다는 것을 입증한다.

ABSTRACT

Existing open-domain dialog models are generally trained to minimize the perplexity of target human responses. However, some human replies are more engaging than others, spawning more followup interactions. Current conversational models are increasingly capable of producing turns that are context-relevant, but in order to produce compelling agents, these models need to be able to predict and optimize for turns that are genuinely engaging. We leverage social media feedback data (number of replies and upvotes) to build a large-scale training dataset for feedback prediction. To alleviate possible distortion between the feedback and engagingness, we convert the ranking problem to a comparison of response pairs which involve few confounding factors. We trained DialogRPT, a set of GPT-2 based models on 133M pairs of human feedback data and the resulting ranker outperformed several baselines. Particularly, our ranker outperforms the conventional dialog perplexity baseline with a large margin on predicting Reddit feedback. We finally combine the feedback prediction models and a human-like scoring model to rank the machine-generated dialog responses. Crowd-sourced human evaluation shows that our ranking method correlates better with real human preferences than baseline models.

연구 동기 및 목표

• 문맥의 관련성 이상의 응답 랭킹 향상을 위해 실제 세계의 인간 피드백을 통합하기 위해.
• 퍼플렉서티 기반 훈련의 한계를 해결하기 위해, 응답의 매력도를 포착하지 못하는 문제를 해결하기 위해.
• 사회적 미디어 피드백(업보트, 응답 수, 깊이)을 인간 선호도의 대체 지표로 사용하여 대규모로 확장 가능한 데이터셋을 구축하기 위해.
• 직접 피드백 회귀 대신 쌍별 비교를 사용하여 사회적 영향의 편향을 줄이기 위해.
• 피드백 예측 모델과 인간과 유사한 점수 모델을 조합한 앙상블 모델을 개발하여 인간 선호도와의 일치도를 향상시키기 위해.

제안 방법

• 댓글 스레드를 활용해 피드백 신호를 추출: 너비(응답 수), 깊이(스레드 깊이), 업다운(업보트 수 - 다운보트 수).
• Reddit 데이터에서 동일한 맥락에 대한 두 응답을 비교하는 133만 개의 응답 쌍을 구성.
• 대비 학습을 사용하여 GPT-2 기반 모델을 훈련시켜 쌍 내에서 더 매력적인 응답을 예측하도록 하며, 쌍별 비교에 대한 순서 손실을 최소화한다.
• 피드백 예측 모델의 가중치 조합과 인간과 유사한 점수 모델(인간 대 기계 응답 데이터로 훈련된 모델)을 조합하여 최종 응답 랭킹을 산출한다.
• 모델 출력을 인간 선호도 평가와 일치시키기 위해 인간 캘리브레이션 데이터를 사용해 앙상블를 튜닝한다.
• 최종 모델을 적용하여 기계가 생성한 응답을, 더 많은 참여를 유도할 것으로 예측되는 응답을 우선순위로 정렬한다.

실험 결과

연구 질문

• RQ1 대규모 소셜 미디어 피드백 데이터는 대화 응답의 인간 참여도를 예측하는 데 효과적으로 활용될 수 있는가?
• RQ2 직접 피드백 회귀 대비 응답 쌍 간의 쌍별 비교는 혼동 요인을 줄이는 데 더 효과적인가?
• RQ3 피드백 기반 랭킹은 퍼플렉서티 기반 기준 대비 실제 인간 선호도와 얼마나 잘 일치하는가?
• RQ4 피드백 예측과 인간과 유사한 점수의 조합은 개별 모델 대비 응답 랭킹 성능을 향상시키는가?
• RQ5 피드백 신호를 통합할 경우 인간 평가에서 생성된 대화 응답의 품질은 어느 정도 향상되는가?

주요 결과

• 피드백 예측 모델은 인간 전체 선호도와 피어슨 상관계수 0.792를 기록하여 퍼플렉서티 기준보다 유의미하게 뛰어난 성능을 보였다.
• 업다운 지표(업보트 수 - 다운보트 수)가 인간 선호도와 가장 강한 상관관계를 보였으며(ρ = 0.518), 그 다음으로 깊이와 너비가 뒤이었다.
• 인간과 유사한 점수 모델(π₀)을 포함한 앙상블 모델은 피드백 전용 모델보다 성능이 향상되어 상호보완적인 강점을 보였다.
• 모델의 피팅 계수 분석 결과, 깊이(w=0.48)와 업다운(w=1.0)이 강력한 예측 변수로 나타났으며, 너비(w=-0.50)는 너무 넓은 응답이 매력도가 떨어진다는 것을 시사했다.
• 고정된 생성 모델(DialoGPT)을 사용하더라도 DialogRPT는 인간 평가에서 퍼플렉서티 기반 방법보다 응답 랭킹을 향상시켰다.
• 인간 평가 결과, 모델의 랭킹이 테스트된 모든 기준보다 실제 인간 선호도와 더 잘 일치하는 것으로 확인되었다.