[論文レビュー] Edina: Building an Open Domain Socialbot with Self-dialogues

Ben Krause, Marco Damonte+7 more|arXiv (Cornell University)|Sep 28, 2017

Topic Modeling参考文献 8被引用数 25

ひとこと要約

Edinaは、アレクサプライスのソーシャルボットであり、1人の作業者が両方の役割を果たす自己対話（self-dialogues）を用いて、自然でトピック関連の高いトレーニングデータを収集する。信頼度スコア付きのマッチングモジュールとルールベースおよび生成モデルを組み合わせることで、Edinaは高い応答品質と文脈的関連性を達成しており、マッチング信頼度スコアは人間評価と強く相関している（r=0.259, p<0.0005）。

ABSTRACT

We present Edina, the University of Edinburgh's social bot for the Amazon Alexa Prize competition. Edina is a conversational agent whose responses utilize data harvested from Amazon Mechanical Turk (AMT) through an innovative new technique we call self-dialogues. These are conversations in which a single AMT Worker plays both participants in a dialogue. Such dialogues are surprisingly natural, efficient to collect and reflective of relevant and/or trending topics. These self-dialogues provide training data for a generative neural network as well as a basis for soft rules used by a matching score component. Each match of a soft rule against a user utterance is associated with a confidence score which we show is strongly indicative of reply quality, allowing this component to self-censor and be effectively integrated with other components. Edina's full architecture features a rule-based system backing off to a matching score, backing off to a generative neural network. Our hybrid data-driven methodology thus addresses both coverage limitations of a strictly rule-based approach and the lack of guarantees of a strictly machine-learning approach.

研究の動機と目的

• 広範なトピックカバレッジと自然な応答生成を実現するオープンドメイン対話型AIの課題に対処すること。
• オープンドメイン対話に適した大規模で偏りのない、自然な会話データセットの不足を克服すること。
• 手作業で作成したルールに依存せずに、トピック関連で人間らしい会話を得るコスト効率が高くスケーラブルな方法を開発すること。
• カバレッジと応答品質の両立を図る、ルールベース、検索ベース、ニューラル生成のコンポONENTを統合したハイブリッドアーキテクチャを構築すること。
• 信頼度スコアを用いた自己監視機能を実装し、会話の流れを保ちつつ低品質な応答を低減すること。

提案手法

• Amazon Mechanical Turk上で、1人の作業者が与えられたトピックについて会話の両方の役割をシミュレートする自己対話を収集する。
• 自己対話コーパスを用いて、IDFベースの信頼度スコアを計算する検索ベースのマッチングコンポonentをトレーニングする。
• マッチングコンポonentをルールベースシステムと生成型ニューラルネットワークが統合された階層的パイプライン（ルールベース → 信頼度スコア → 生成モデル）に統合する。
• マッチングスコアが低い場合に信頼度スコアを用いて応答を自己監視し、高品質な出力のみを選別する。
• 定期的なデータ収集を活用してトレンドトピックを追跡し、時間の経過に伴うトピックの関連性を維持する。
• 信頼度スコアを用いて、信頼度が低い場合にプロアクティブなユーザー参加を誘導し、会話の流れを保つ。

実験結果

リサーチクエスチョン

• RQ1 Mechanical Turkを用いて収集された自己対話は、オープンドメインソーシャルボットのトレーニングに適した高品質で自然かつトピック関連の高いデータを生み出せるか？
• RQ2 信頼度スコア付きの検索ベースコンポonentは、不条理な応答やトピック外の返答を最小限に抑えながら、高品質な応答を選別するのにどの程度効果的か？
• RQ3 ルールベース、検索ベース、生成モデルを統合したハイブリッドアーキテクチャは、純粋にデータ駆動型またはルールベースのシステムに比べて、どの程度優れているか？
• RQ4 マッチングコンポonentの信頼度スコアは、人間評価による応答品質の代替指標として信頼できるか？
• RQ5 自己対話データ収集法は、進化を続ける対話ドメインにおけるトピック関連性を維持するために、どの程度スケーラブルでコスト効率が良いか？

主な発見

• マッチングスコアコンポonentの信頼度スコアは、人間による応答品質評価と統計的に有意な正の相関を示した（r=0.259, p<0.0005）。
• 信頼度スコアが0.7以上の応答は、平均して人間評価スコア3.60を獲得し、マッチングスコア全体の平均（3.08）よりも顕著に高い水準であった。
• 自己対話は自然で魅力的で、トピックに特化した会話を生み出し、音楽、映画、スポーツといった分野での深い議論を可能にした。
• ハイブリッドアーキテクチャにより、Edinaは文脈的関連性を維持し、多様なサブトピックに対応し、ボットの好みに関するユーザーの質問に対しても適切に応答できた。
• 低信頼度の応答を回避することで、システムは効果的な自己監視を実現し、不条理な応答やトピック外の返答のリスクを低減した。
• このアプローチはコスト効率が高く、初期データ収集フェーズを経た後は定期的なデータ更新のみでトレンドトピックに適応できることを示した。