[論文レビュー] Emulating Human Conversations using Convolutional Neural Network-based IR

Abhay Prakash, Chris Brockett+1 more|arXiv (Cornell University)|Jun 22, 2016

Topic Modeling参考文献 19被引用数 14

ひとこと要約

本稿では、会話的エージェントにおける人間らしい応答を検索するため、畳み込み型ディープ構造的意味的モデル（cDSSM）を用いた文脈に配慮した情報検索システムを提案する。cDSSMに基づく特徴量に文字トライグラムと文脈モデリングを組み合わせることで、応答の関連性が著しく向上し、Twitter会話データ上でSemRel(M,R)+CMM+CCFモデルが1-best精度84.4%を達成した。

ABSTRACT

Conversational agents ("bots") are beginning to be widely used in conversational interfaces. To design a system that is capable of emulating human-like interactions, a conversational layer that can serve as a fabric for chat-like interaction with the agent is needed. In this paper, we introduce a model that employs Information Retrieval by utilizing convolutional deep structured semantic neural network-based features in the ranker to present human-like responses in ongoing conversation with a user. In conversations, accounting for context is critical to the retrieval model; we show that our context-sensitive approach using a Convolutional Deep Structured Semantic Model (cDSSM) with character trigrams significantly outperforms several conventional baselines in terms of the relevance of responses retrieved.

研究の動機と目的

• 検索ベースの手法を用いて、人間らしい対話を再現する会話エージェントの設計。
• 会話の文脈を明示的にモデリングすることで、チャットボットにおける応答の関連性を向上させること。
• cDSSMからのディープラーニング特徴量を活用し、語彙的マッチングを超えた意味的類似性を捉えること。
• 実世界のTwitter会話データ上で、文脈特徴量とニューラルランキングモデルの有効性を評価すること。
• 生成モデルを用いない既存の人工会話データを活用した検索ベースのシステムが、生成的訓練を経ずに自然で文脈的に適切な応答を生成できることを示すこと。

提案手法

• システムは、応答生成を情報検索問題として定式化し、事前にインデックス化されたツイートと返信のペアからなるコーパスから最適な応答を検索する。
• 畳み込み型ディープ構造的意味的モデル（cDSSM）を用いて、ユーザーのメッセージと候補応答から、密な文脈に依存する意味的特徴量を抽出する。
• 文字トライグラムを用いて意味的表現を豊かにし、未知語や口語的表現に対する耐性を高める。
• 複数の特徴量を統合する：SemRel(M,R) はメッセージと応答間の意味的関連性を、SemSim(C,R) は文脈と応答の整合性を、CCF は文脈と応答の語彙的重複度をそれぞれ評価する。
• 条件付きランダムフィールド（CMM）に基づくランカーに加え、CCF などの追加特徴量を組み合わせて、候補応答のスコア付けと順序付けを行う学習を実施する。
• 自動指標と人的評価を併用して、1,000件のTwitter人間会話のホールドアウトセット上でシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 ディープ意味的特徴量を用いた検索ベースのアプローチは、従来のIR手法に比べ、文脈的に関連性の高いチャット応答を生成する上で優れているか？
• RQ2 文字トライグラムを組み合わせたcDSSMベースの特徴量は、語彙的またはTF-IDFベースラインに比べ、応答の関連性をどの程度向上させるか？
• RQ3 会話の文脈（C）を明示的にモデリングすることは、応答選択の正確性をどの程度向上させるか？
• RQ4 SemRel, CCF, SemSim などの複数のニューラル的および語彙的特徴量の統合は、応答品質に統計的に有意な改善をもたらすか？
• RQ5 事前に用意された人間の会話データを活用したシステムは、エンドツーエンドの生成的訓練を経ずに、人間らしい流暢さと一貫性を実現できるか？

主な発見

• SemRel(M,R)+CMM+CCFモデルは1-best精度84.4%を達成し、DCGM-II+CMMベースライン（82.0%）および他のベースラインを著しく上回った。
• CCF特徴量の追加により、精度がわずかだが統計的に有意に向上した。これは、文脈に配慮したランク付けの向上を示している。
• 人的評価では、SemRel(M,R)+CMM+CCFモデルがすべてのベースラインを上回り、対応t検定のp値が0.0001未満であった。
• 文脈と応答の間でn-gramの重複がないケースでも、モデルは優れた性能を示し、表面的なマッチングを超えた意味的整合性の捉え具合を証明した。
• 定性的分析から、モデルは文脈特徴量に過剰に依存せず、文脈が重要でない場合でも関連性を維持していることが明らかになった。
• サンプル対話の例から、モデルは自然で文脈的に適切な応答を生成し、人間らしい対話の流れを再現できていることが示された。