[논문 리뷰] An Ensemble Model with Ranking for Social Dialogue

Ioannis Papaioannou, Amanda Cercas Curry외 7명|arXiv (Cornell University)|2017. 12. 20.

Topic Modeling참고 문헌 14인용 수 7

한 줄 요약

이 논문은 아마존 알렉사 프라이즈 경쟁을 위한 앨리나(Alana)라는 앙상블 사회 대화 시스템을 제안한다. 이 시스템은 규칙 기반 모델과 신경망 모델을 조합하고, 맥락 인식 기반 순위 매기기 메커니즘을 적용하여, 실제 사용자 피드백을 기반으로 선형 순위 매기기 모델을 훈련시킴으로써 응답 선택 성능을 향상시킨다. 이는 노이즈가 많고 흐릿한 피드백임에도 불구하고, 평균 사용자 평점 3.28을 기록하며 수동으로 설계된 순위 매기기(3.26)보다 약간이지만 유의미한 향상을 이룬다.

ABSTRACT

Open-domain social dialogue is one of the long-standing goals of Artificial Intelligence. This year, the Amazon Alexa Prize challenge was announced for the first time, where real customers get to rate systems developed by leading universities worldwide. The aim of the challenge is to converse "coherently and engagingly with humans on popular topics for 20 minutes". We describe our Alexa Prize system (called 'Alana') consisting of an ensemble of bots, combining rule-based and machine learning systems, and using a contextual ranking mechanism to choose a system response. The ranker was trained on real user feedback received during the competition, where we address the problem of how to train on the noisy and sparse feedback obtained during the competition.

연구 동기 및 목표

• 장기간의 상호작용 동안도 매력적이고 일관성 있는 오픈 도메인 사회 대화 시스템을 구축하는 데 도전하는 것.
• 일반적으로 안전하지만 매력적이지 않은 응답을 선호하는 전환 수준의 응답 평가 방식의 한계를 극복하는 것.
• 개별 전환 수준의 특성뿐 아니라 전체 대화 결과를 고려하는 순위 매기기 메커니즘을 개발하는 것.
• 실제 운영 중에 수집된 노이즈가 많고 흐릿하며 지연된 사용자 피드백을 효과적으로 활용해 응답 순위 매기기 모델을 훈련하는 것.
• 실세계 환경에서 실제 사용자 평점에 기반한 지속적 학습을 통해 시스템 성능을 향상시키는 것.

제안 방법

• 규칙 기반 봇(예: 퍼스나, 엘리자, 뉴스봇 등)와 데이터 기반 모델(검색 기반 및 생성 기반 Seq2Seq 모델)을 조합한 하이브리드 아키텍처를 사용한다.
• 의미적 유사도, METEOR 점수, 일관성, 감성 극성, 주제 이질성 등의 특징을 조합하여 수동으로 설계된 순위 함수를 통해 후보 응답에 점수를 매긴다.
• 실제 사용자 피드백(대화 수준 평점: 4–5점 = 긍정, 1–2점 = 부정)을 기반으로 VowpalWabbit를 사용해 선형 분류기 순위 매기기 모델을 훈련시킨다.
• 특징으로는 맥락과 응답의 백오브-엔그램, 위치 기반 엔그램, 대화 흐름 메트릭스, 봇 이름 임베딩 등이 포함된다.
• 초기 공개 데이터셋(코넬 무비, 트위터 등)으로 훈련한 결과가 실대화에서 불량했기 때문에, 실시간 데이터(6만 개 대화)로 순위 매기기 모델을 재훈련하여 일반화 능력을 향상시켰다.
• 최종 시스템은 훈련된 순위 매기기 기반으로 앙상블에서 가장 높은 점수를 받은 응답을 선택하며, 추론 과정은 특징들의 가중합을 기반으로 한다.

실험 결과

연구 질문

• RQ1 실제로 흐릿하고 노이즈가 많은 사용자 피드백을 기반으로 훈련된 응답 순위 매기기 모델이 오픈 도메인 사회 대화 시스템의 성능을 향상시킬 수 있는가?
• RQ2 실제 사용자 평점에 기반한 학습된 순위 매기기 모델이 수동으로 설계된 순위 함수에 비해 사용자 참여도와 일관성 측면에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 실제 사용자 상호작용에서 수집된 피드백을 기반으로 훈련된 선형 분류기 모델이 실세계 대화 맥락에 얼마나 잘 일반화되는가?
• RQ4 전환 수준의 특성뿐 아니라 대화 수준의 피드백을 통합함으로써 더 매력적이고 맥락에 부합하는 응답을 도출할 수 있는가?
• RQ5 실시간 사용자 데이터로 지속적인 재훈련을 통해 데이터 흐릿함과 노이즈가 존재하는 상황에서도 대화 시스템의 성능을 시간이 지남에 따라 향상시킬 수 있는가?

주요 결과

• 알렉사 프라이즈 대회에서 수집한 실제 사용자 피드백을 기반으로 훈련한 선형 순위 매기기 모델은 평균 사용자 평점 3.28을 기록하며, 수동으로 설계된 순위 매기기(3.26)를 능가했다.
• 사용자 피드백이 노이즈가 많고 흐릿한 상황(전체 대화 수준에서 평가됨, 전환 수준이 아님)에도 불구하고, 모델은 더 매력적인 응답을 우선순위로 배치하는 데 성공했다.
• 실시간 데이터로 순위 매기기 모델을 재훈련함으로써, 공개 데이터셋(코넬 무비, 트위터 등)으로 초기 훈련한 결과보다 성능 향상이 뚜렷하게 향상되었다.
• 최종 시스템은 평균 평점 3.28을 기록하며 272개의 대화를 처리했으며, 실세계 환경에서 실제 사용자 피드백을 기반으로 학습하는 것이 가능함을 입증했다.
• 개발 세트에서 긍정 대화와 부정 대화를 분류하는 정확도가 69.40%에 도달하여, 고품질 상호작용을 효과적으로 식별함을 보여주었다.
• 저자들은 이후에 2017년 8월에서 10월 사이에 수집된 증가된 피드백을 기반으로 훈련된 신경망 순위 매기기 모델이 선형 모델보다 정확도에서 뛰어나 성능을 냈음을 보고하며, 지속적 학습의 가치를 확인했다.