[論文レビュー] Detecting Context Dependent Messages in a Conversational Environment

Chaozhuo Li, Yu Wu+4 more|arXiv (Cornell University)|Nov 2, 2016

Topic Modeling参考文献 22被引用数 8

ひとこと要約

本稿では、応答特性（例：応答長、語彙分布エントロピー）を弱教師信号として用いることで、会話型AIにおける文脈依存メッセージを検出するための深層学習手法を提案する。LSTMネットワークを用いた手法は、ベースラインモデルを上回り、Weiboでは75.6%、Twitterでは73.4%の精度を達成した。これは、LSTMが短く非形式的なメッセージにおいて意味的手がかりを効果的に捉えることができ、文脈に配慮した応答生成を改善できることを示している。

ABSTRACT

While automatic response generation for building chatbot systems has drawn a lot of attention recently, there is limited understanding on when we need to consider the linguistic context of an input text in the generation process. The task is challenging, as messages in a conversational environment are short and informal, and evidence that can indicate a message is context dependent is scarce. After a study of social conversation data crawled from the web, we observed that some characteristics estimated from the responses of messages are discriminative for identifying context dependent messages. With the characteristics as weak supervision, we propose using a Long Short Term Memory (LSTM) network to learn a classifier. Our method carries out text representation and classifier learning in a unified framework. Experimental results show that the proposed method can significantly outperform baseline methods on accuracy of classification.

研究の動機と目的

• オープンドメインチャットボットにおける応答生成に言語的文脈が必要かどうかを理解する欠如を是正すること。
• 前回の会話の流れが必要な文脈依存メッセージ（適切な応答に必要な過去の会話ターンを要するもの）と、独立して成立する文脈非依存メッセージ（単独で成立するもの）を特定すること。
• 大規模なソーシャルメディアデータからの応答パターンを活用することで、人的な手作業によるアノテーションのコストを回避する弱教師付き手法を開発すること。
• 必要に応じてのみ文脈に配慮した応答生成を可能にすることで、応答生成システムの効率性と頑健性を向上させること。
• 応答から得られる統計量（例：応答長、語彙分布エントロピー）が、メッセージの文脈依存性を区別する有効な弱い信号であることを実証すること。

提案手法

• 本手法は、平均応答長、語彙分布エントロピー、語彙分布の最大質量（MDF）といった応答統計量を弱教師信号として用い、分類器を学習する。
• 長短期記憶（LSTM）ネットワークをエンドツーエンドで訓練し、メッセージの文脈的表現を学習し、文脈依存または非依存に分類する。
• LSTMモデルは、時間経過に伴い情報を保持または忘却するメモリ機構を用いて、短く非形式的なメッセージにおける逐次的依存関係と意味的パターンを捉える。
• ドロップアウト（0.1）を用いて正則化することで、テキスト表現と分類の両方を統合的なフレームワークで同時に学習する。
• ベースラインモデルには、手作業で作成した特徴量（例：bag-of-words、品詞タグ）を用いたSVMと、同じ弱教師信号を用いた回帰／分類ベースのモデルが含まれる。
• ハイパーパrameterは、検証データ上で5分割交差検証を用いて調整され、SVMのC値およびLSTMの次元数（dw = dh = 256、ds = 100）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 応答長や語彙分布エントロピーといった応答統計量が、メッセージが文脈依存かどうかを効果的に示す信号として機能するか。
• RQ2 エンドツーエンドのLSTMモデルが、bag-of-words や品詞タグといった浅い特徴量に依存する従来の機械学習モデル（例：SVM）を上回る性能を示すか。
• RQ3 応答パターンからの弱教師信号を用いることで、大規模な人的アノテーションなしに文脈検出モデルを学習することが可能か。
• RQ4 短い会話的メッセージにおける、異なる応答特性が文脈依存性とどのように相関するか。
• RQ5 深層学習モデルが、浅いモデルに比べて、非形式的で短いメッセージにおける意味的手がかりをより効果的に捉えるか。

主な発見

• 提案されたLSTMモデルは、Weiboテストセットで75.6%、Twitterテストセットで73.4%の精度を達成し、すべてのベースライン手法を顕著に上回った。
• 最良のベースラインであるSVM（分類）は、Weiboで66.8%、Twitterで65.4%を達成した。SVM（回帰）はTwitterで68.3%を記録したが、いずれもLSTMモデルに劣った。
• 応答長とMDF（最大分布質量）特徴量のみでは、精度が63%未満にとどまり、文脈依存性を区別するための識別力が限られていることが示された。
• LSTMモデルは、'Yep, I have heard it on Saturday night'というメッセージを文脈依存と正しく識別したが、SVMモデルは'Saturday night'といった表面的な語彙に依存して、文脈非依存と誤分類した。
• LSTM埋め込みによる'Yep, I have heard it on Saturday night'と'Yes, I have'間のコサイン類似度は0.63であり、既知の文脈依存応答と意味的に類似していることを確認した。
• 統計的有意性検定（p < 0.01）により、LSTMモデルが最良のベースラインを上回る性能向上が偶然によるものでないことが裏付けられた。