[논문 리뷰] Edina: Building an Open Domain Socialbot with Self-dialogues

Ben Krause, Marco Damonte외 7명|arXiv (Cornell University)|2017. 09. 28.

Topic Modeling참고 문헌 8인용 수 25

한 줄 요약

Edina는 Alexa Prize용 소셜봇으로, 한 명의 작업자가 양측 역할을 맡는 자가대화(자신이 자신과 대화하는 방식)를 통해 자연스럽고 주제 관련 훈련 데이터를 수집한다. 신뢰도 점수를 부여한 매칭 모듈과 규칙 기반 및 생성 기반 모델을 조합함으로써 Edina는 높은 응답 품질과 맥락적 관련성을 달성했으며, 매칭 신뢰도가 인간 평가와 강하게 상관관계가 있음(상관계수 r=0.259, p<0.0005).

ABSTRACT

We present Edina, the University of Edinburgh's social bot for the Amazon Alexa Prize competition. Edina is a conversational agent whose responses utilize data harvested from Amazon Mechanical Turk (AMT) through an innovative new technique we call self-dialogues. These are conversations in which a single AMT Worker plays both participants in a dialogue. Such dialogues are surprisingly natural, efficient to collect and reflective of relevant and/or trending topics. These self-dialogues provide training data for a generative neural network as well as a basis for soft rules used by a matching score component. Each match of a soft rule against a user utterance is associated with a confidence score which we show is strongly indicative of reply quality, allowing this component to self-censor and be effectively integrated with other components. Edina's full architecture features a rule-based system backing off to a matching score, backing off to a generative neural network. Our hybrid data-driven methodology thus addresses both coverage limitations of a strictly rule-based approach and the lack of guarantees of a strictly machine-learning approach.

연구 동기 및 목표

• 넓은 주제 범위를 갖는 개방형 대화형 AI의 과제를 해결하고 자연스러운 응답 생성을 달성한다.
• 개방형 대화에 적합한 대규모, 편향이 없고 자연스러운 대화 데이터셋의 부족 문제를 해결한다.
• 수동으로 제작된 규칙에 의존하지 않고도 주제 관련, 인간처럼 자연스러운 대화를 비용 효율적이고 확장 가능하게 수집하는 방법을 개발한다.
• 규칙 기반, 검색 기반, 신경망 생성 기반 구성 요소를 융합한 하이브리드 아키텍처를 구축하여 커버리지와 응답 품질의 균형을 이룬다.
• 신뢰도 점수를 활용해 자가 검열 기능을 구현하여 저품질 응답을 줄이되 대화 흐름은 유지한다.

제안 방법

• Amazon Mechanical Turk에서 한 명의 작업자가 주어진 주제에 대해 두 명의 참가자 역할을 시뮬레이션하는 자가대화를 수집한다.
• 자기대화 코퍼스를 활용해 후보 응답에 대한 IDF 기반 신뢰도 점수를 산출하는 검색 기반 매칭 모듈을 훈련시킨다.
• 매칭 모듈을 규칙 기반 시스템과 생성 기반 신경망 모델과 조합한 계층적 파ip라인(규칙 기반 → 매칭 점수 → 생성 모델)으로 통합한다.
• 매칭 점수가 낮을 경우 신뢰도 임계값을 적용해 저품질 응답을 자가 검열함으로써 고품질 출력만 선택한다.
• 정기적인 데이터 수집을 통해 트렌딩 주제를 추적하고 시간이 지남에 따라 주제 관련성을 유지한다.
• 신뢰도가 낮을 경우 매칭 점수를 활용해 수동으로 사용자 참여를 유도하여 대화 흐름을 유지한다.

실험 결과

연구 질문

• RQ1 Mechanical Turk를 통해 수집한 자가대화가 개방형 소셜봇의 훈련에 적합한 고품질, 자연스럽고 주제 관련 데이터를 제공할 수 있는가?
• RQ2 신뢰도 점수를 부여한 검색 기반 컴포넌트가 비논리적이거나 주제에서 벗어난 응답을 최소화하면서 고품질 응답을 효과적으로 선택할 수 있는가?
• RQ3 규칙 기반, 검색 기반, 생성 기반 구성 요소를 융합한 하이브리드 아키텍처가 순수 데이터 기반 또는 규칙 기반 시스템보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 매칭 컴포넌트의 신뢰도 점수가 인간 평가의 응답 품질을 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ5 자기대화 데이터 수집 방법은 변화하는 대화 도메인에서 주제 관련성을 유지하기 위해 얼마나 확장 가능하고 비용 효율적인가?

주요 결과

• 매칭 점수 컴포넌트의 신뢰도 점수가 인간 평가의 응답 품질과 통계적으로 유의미한 양의 상관관계를 보였다(r=0.259, p<0.0005).
• 신뢰도 점수가 0.7 이상인 응답은 평균 인간 평가 점수 3.60을 기록했으며, 이는 전체 매칭 점수 평균 3.08보다 유의미하게 높았다.
• 자기대화로부터 자연스럽고 몰입감 있으며 주제에 특화된 대화가 생성되었으며, 음악, 영화, 스포츠와 같은 주제에서 현재의 트렌드를 반영하고 깊이 있는 논의가 가능했다.
• 하이브리드 아키텍처 덕분에 Edina는 맥락적 관련성을 유지하고 다양한 부주제를 처리하며 봇의 선호도에 대한 사용자 질문에 적절히 대응할 수 있었다.
• 낮은 신뢰도 응답을 피하는 방식으로 효과적인 자가 검열 기능을 수행하여 비논리적이거나 주제에서 벗어난 응답의 위험을 줄였다.
• 이 방법은 비용 효율적이었으며, 初기 데이터 수집 단계 이후 정기적인 데이터 업데이트만으로도 트렌딩 주제에 맞게 최신 상태를 유지할 수 있었다.