[논문 리뷰] Talking to myself: self-dialogues as data for conversational agents

Joachim Fainberg, Ben Krause외 6명|arXiv (Cornell University)|2018. 09. 18.

Speech and dialogue systems참고 문헌 7인용 수 13

한 줄 요약

이 논문은 아마존 메카니컬 터크를 통해 단일 커뮤니티 워커가 생성한 가짜 양자 대화(자기 대화)를 활용하여 주제별로 비구조화된 대화 데이터를 저비용으로 수집하는 방법을 제안한다. 저자들은 23개 주제에 걸쳐 총 360만 단어 분량의 코퍼스를 수집하였으며, 정성적 분석을 통해 자기 대화가 표준 양자 대화나 OpenSubtitles 데이터에 비해 더 유창하고 흥미로운 응답을 생성함을 입증하였다. 이는 개방형 대화 에이전트를 훈련시키기에 매우 적합하다.

ABSTRACT

Conversational agents are gaining popularity with the increasing ubiquity of smart devices. However, training agents in a data driven manner is challenging due to a lack of suitable corpora. This paper presents a novel method for gathering topical, unstructured conversational data in an efficient way: self-dialogues through crowd-sourcing. Alongside this paper, we include a corpus of 3.6 million words across 23 topics. We argue the utility of the corpus by comparing self-dialogues with standard two-party conversations as well as data from other corpora.

연구 동기 및 목표

• 개방형 대화 에이전트 훈련에 적합한 대규모, 주제별, 비구조화된 대화 코퍼스의 부족 문제를 해결하기 위해.
• 단일 커뮤니티 워커가 조율하는 자기 대화로 양자 대화를 대체하여 데이터 수집 비용과 복잡성을 줄이기 위해.
• 기존 코퍼스와 비교하여 자기 대화의 품질과 대화형 에이전트 훈련에의 적합성을 평가하기 위해.
• 연구 및 모델 훈련을 위해 공개 가능한 다양한 주제별 비구조화된 대화 코퍼스를 제공하기 위해.

제안 방법

• 자기 대화는 아마존 메카니컬 터크를 통해 커뮤니티 워커가 주어진 주제에 대해 두 명의 대화자 역할을 시뮬레이션하여 수집된다.
• 각 대화에서 워커는 20개의 텍스트 상자에 대화를 작성하며, 자연스러운 대화를 유도하기 위해 최소한의 제약 조건을 적용한다.
• 자동화된 필터링은 bag-of-words 표현 간 코사인 유사도와 악성 단어 목록을 사용하여 품질이 낮거나 폭력적인 제출물을 거르는 데 쓰인다.
• 최종 코퍼스는 23개 주제에 걸쳐 총 360만 단어로 구성되었으며, 전체 23,000개 이상의 대화 중 0.6%에 해당하는 145개만 기각되었다.
• 자기 대화 코퍼스를 기반으로 단순한 검색 기반 봇을 훈련시킨 후, OpenSubtitles와의 비교를 위해 정의된 질의어를 사용해 평가한다.
• 정성적 평가를 통해 일반적이고 주제별 질의어에 대한 응답의 관련성과 몰입도를 두 코퍼스 간 비교한다.

실험 결과

연구 질문

• RQ1 단일 커뮤니티 워커가 생성한 자기 대화가, 두 명의 대화자 간 대화와 동일한 수준의 유창성과 몰입도를 보이는가?
• RQ2 OpenSubtitles와 같은 기존 코퍼스와 비교했을 때 자기 대화 방법은 개방형 대화 에이전트의 응답 품질 측면에서 어떻게 다른가?
• RQ3 자기 대화 코퍼스는 주제별로 특화된 개방형 대화 훈련을 얼마나 잘 지원하는가?
• RQ4 자기 대화 방법은 품질을 유지하면서 데이터 수집 비용을 상당히 줄이는가?

주요 결과

• 자기 대화 방법을 통해 두 명의 대화자 간 대화를 대체함으로써 데이터 수집 비용을 50% 감소시켰다. 각 대화에 대해 한 명의 워커만 지급되기 때문이다.
• 자기 대화는 특히 주제별 질의어에서 OpenSubtitles 데이터보다 더 유창하고 몰입도 높은 응답을 생성하였다.
• 코퍼스는 23개 주제에 걸쳐 총 360만 단어로 구성되었으며, 중복 또는 낮은 언어 품질로 인해 기각된 제출물은 전체의 0.6%에 불과했다.
• 정성적 분석 결과, 자기 대화 코퍼스에서 유도된 응답은 맥락적으로 더 관련성이 있었으며, 개방형 인간-봇 상호작용에 더 적합하였다.
• 자기 대화 코퍼스를 기반으로 훈련한 검색 기반 봇은 일반적이고 주제별 질의어 모두에서 OpenSubtitles를 기반으로 훈련한 봇보다 응답의 관련성과 몰입도에서 뛰어난 성능을 보였다.
• 코퍼스는 github.com/jfainberg/self_dialogue_corpus에서 공개되어 있어 향후 대화형 AI 분야의 연구를 지원한다.