[論文レビュー] Enterprise to Computer: Star Trek chatbot

Grishma Jena, Mansi Vashisht+3 more|arXiv (Cornell University)|Aug 2, 2017

Topic Modeling参考文献 8被引用数 7

ひとこと要約

本稿では、2つの異なるシーケンス・トゥ・シーケンス（SEQ2SEQ）モデル（1つはスターテック対話用、もう1つは一般会話用）を用いて、スターテック風の応答を生成するデータ駆動型チャットボットE2Cbotを提案する。ワードグラフと言語モデルのフィルタリングを用いて、スターテック以外の入力をスターテック風に変換し、ルールベースのベースラインと比較して、スターテック風のスタイルの一貫性（人間評価で86％）と応答の一貫性が向上したが、文法的正確性はわずかに低い。

ABSTRACT

Human interactions and human-computer interactions are strongly influenced by style as well as content. Adding a persona to a chatbot makes it more human-like and contributes to a better and more engaging user experience. In this work, we propose a design for a chatbot that captures the "style" of Star Trek by incorporating references from the show along with peculiar tones of the fictional characters therein. Our Enterprise to Computer bot (E2Cbot) treats Star Trek dialog style and general dialog style differently, using two recurrent neural network Encoder-Decoder models. The Star Trek dialog style uses sequence to sequence (SEQ2SEQ) models (Sutskever et al., 2014; Bahdanau et al., 2014) trained on Star Trek dialogs. The general dialog style uses Word Graph to shift the response of the SEQ2SEQ model into the Star Trek domain. We evaluate the bot both in terms of perplexity and word overlap with Star Trek vocabulary and subjectively using human evaluators.

研究の動機と目的

• スターテック対話の言語的スタイルとトーンを捉えつつ、一般会話においても一貫性を保つチャットボットの開発。
• カバレッジとスケーラビリティの問題を抱えるルールベースのシステム（例：Fake Spock）の限界を克服すること。
• スターテック対話と非スターテック対話の別々のモデルを学習させることで、データ駆動型のパーソナモデリングを可能にすること。
• 文法的正しさとスタイルの一貫性を保証するフィルタリング機構を用いて、応答品質を向上させること。
• ニューラルシーケンスモデルを用いて、一般会話からフィクション的でパーソナ中心のドメインへのスタイル転送が可能かどうかを検討すること。

提案手法

• 100,990件のスターテック対話ペアとコロンビア映画対話コーパスを用いて、2つの独立したSEQ2SEQモデルを学習する。
• ワードグラフアルゴリズムを用いて、一般会話の出力をドメイン固有の語彙で置換または挿入することで、スターテック風の言語に変換する。
• 拡張されたスターテック対話データで学習したビグラム言語モデルが、複数のワードグラフ出力から最も確率が高く、文法的に正しい応答をランク付け・選択する。
• 応答のフィルタリングには、パープレキシティのしきい値を用いる：応答のパープレキシティがスターテック対話のものと著しく異なる場合、標準的またはクィンゴン風の応答に置き換える。
• モデルの信頼度を監視し、低信頼度の出力に対しては、『知らない』のような一般的な返答を避けるために、ルールベースのフォールバック応答を発動する。
• 特定のキャラクターをモデル化するのではなく、スターテック全体のトーンと語彙の集団的特徴に焦点を当てることで、パーソナリティとスタイルを維持する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型アプローチによって、ドメイン外の入力に対しても一貫性があり、スターテック風のスタイルに忠実な応答を生成できるか？
• RQ2 二重モデルのSEQ2SEQシステムは、一貫性とスタイルの関連性という観点で、ルールベースのシステムと比較してどのように性能を発揮するか？
• RQ3 ワードグラフと言語モデルのフィルタリングを用いて、一般会話からフィクション的でパーソナ中心のドメインへのスタイル転送をどの程度達成できるか？
• RQ4 フィルタリング機構により、文法的に誤りがあるか、話題から逸れた出力を減らすことで、応答品質が向上するか？
• RQ5 スターテック対話と一般会話のモデルを分離することで、統合モデルに比べて性能が向上するか？

主な発見

• E2Cbotは人間による評価でスターテック風のスタイルスコアが86％を達成し、ルールベースのFake Spockボット（64％）を顕著に上回った。
• 人間評価において、E2Cbotは一貫性（73.5％ vs. 60.5％）と全体的な品質（平均84.33％ vs. 74.16％）が優れていた。
• 文法的正確性はやや低い（93.5％ vs. 98％）ものの、E2Cbotは文脈的に関連性が高く、スタイルの一貫性に優れた応答を生成した。
• E2Cbotの応答の平均パープレキシティはスターテックデータで60.92であり、目標のスターテック対話のパープレキシティ65.69に近く、言語モデルの整合性が高かった。
• E2Cbotの語彙のスターテック語彙との重複率は91.45％であり、効果的な語彙的スタイル転送が実現した。
• 『レッド・アラート』や『エンゲージ』といったドメイン外の入力に対しても、関連性があり、スターテック風の応答を効果的に生成し、強固なスタイル転送を実現した。