[論文レビュー] LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues

Phong Ba Le, Marc Dymetman+1 more|arXiv (Cornell University)|May 5, 2016

Topic Modeling参考文献 11被引用数 10

ひとこと要約

この論文では、神経的対話モデルと神経的質問応答（QA）モデルを動的に組み合わせることで、知識を踏まえた対話生成を行うLSTMベースのエキスパート混合モデルを提案する。文脈に応じたゲーティング機構を用いてエキスパート間のソフトアテンションを実現することで、知識に基づくトークンの perplexity を38%相対的に低減（46.8 vs. 75.8）し、新たなデータで対話モデルを微調整せずに、事実の正確性が向上することを示している。

ABSTRACT

We introduce an LSTM-based method for dynamically integrating several word-prediction experts to obtain a conditional language model which can be good simultaneously at several subtasks. We illustrate this general approach with an application to dialogue where we integrate a neural chat model, good at conversational aspects, with a neural question-answering model, good at retrieving precise information from a knowledge-base, and show how the integration combines the strengths of the independent components. We hope that this focused contribution will attract attention on the benefits of using such mixtures of experts in NLP.

研究の動機と目的

• エンドツーエンドの神経的対話モデルが外部ソースから事実の知識を正確に取得できないという限界を解決すること。
• 共同の微調整を必要とせずに、会話用LSTMモデルと知識に基づくQAモデルの長所を統合すること。
• アテンションベースのゲーティング機構を用いて、複数の単語予測エキスパートを系列生成に統合する汎用的なフレームワークを開発すること。
• 外部知識ベースを活用し、動的ルーティングによってQAモデルの記憶負荷を軽減すること。
• 構造化された知識ベースの三項組みを備えた実世界のモバイルサポート対話データセットを用いて、手法を評価すること。

提案手法

• モデルは、各時刻ステップで対話履歴をLSTMでエンコードし、隠れ状態ベクトルに変換する。
• エンコードされた履歴に基づき、K 個のエキスパートモデルに対する混合重みをソフトマックス層で計算する。ここで重みはエキスパートに対するアテンション確率を表す。
• 最終的な単語確率は、エキスパート予測の重み付き和として計算される：p(w|w₁ᵗ,C) = Σₖ p(k|w₁ᵗ) × pₖ(w|w₁ᵗ)。
• 2つのエキスパート（会話モデルとQAモデル）の場合、ゲーティング重み α は、会話モデルの隠れ状態の学習済み線形変換にシグモイド関数を適用することで計算される。
• 統合モデルは、希少な知識トークン（例：数値）に重点を置くためにスケーリング要因 β(w) を用いた重み付き交差エントロピー目的関数でエンドツーエンドに学習される。
• デコードでは、均等コストの探索を用い、各応答が最大で1つの質問にのみ応答する制約を課すことで、一貫性と正確性を確保する。

実験結果

リサーチクエスチョン

• RQ1 動的ルーティングによるエキスパート混合は、会話のなめらかさを損なわず、対話システムにおける事実の正確性を向上させることができるか？
• RQ2 アテンションベースのゲーティング機構を用いて、事前に訓練済みの会話モデルとQAモデルをどれだけ効果的に統合できるか？
• RQ3 統合モデルは、単体の会話モデルと比較して、知識に基づくトークンの perplexity を低減するのか？
• RQ4 モデルは、会話コンponentの再訓練なしに、新しいデバイスに一般化可能か？外部知識に依存するのか？
• RQ5 データ中に頻度が低いにもかかわらず、事実のトークンに与えるモデルのパフォーマンスは、全体の perplexity と比較してどの程度か？

主な発見

• 統合モデルは、単体の会話モデルと比較して、知識に基づく値トークンの perplexity を38%低減（46.8 vs. 75.8）し、事実の正確性が顕著に向上していることを示している。
• 全体の perplexity がわずかに上昇（15.4 vs. 14.7）したものの、デバイス仕様や数値などの希少だが重要なトークンにおいて顕著な向上が見られた。
• 具体的な例として、デバイス固有の属性照会など、知識ベースから正確な情報を取得する応答を効果的に生成できている。
• QAモデルの予測は、必要に応じてのみルーティングされることが確認され、ゲーティング機構が知識を求めるクエリに対して主にそのモデルを活性化させることを学習している。
• 会話モデルは、新しいデバイスのリリースに対しても、新しいデータで再訓練されていないため、堅牢に保たれている。更新が必要なのは、知識ベースの新規エントリをQAモデルに追加するのみである。
• LSTMベースのゲートにより文脈に応じたルーティングが可能であり、複数の専門分野のエキスパート（それぞれ異なるタスクに特化）への一般化が可能である。