[論文レビュー] Augmenting Transformers with KNN-Based Composite Memory for Dialogue

Angela Fan, Claire Gardent+2 more|arXiv (Cornell University)|Apr 27, 2020

Topic Modeling参考文献 48被引用数 18

ひとこと要約

本稿では、事前にエンコードされた知識のK-最近傍探索を用いて、Wikipedia や画像、対話履歴などの多様なソースからの外部知識に効率的かつスケーラブルにアクセスできる、KNNベースの情報取得（KIF）モジュールを提案する。この手法は、対話の整合性と事実に基づいた出力の質を向上させ、Wizard of Wikipedia および Engaging ImageChat において人間評価による応答品質がリtrieval専用モデルと同等の最先端の性能を達成した。

ABSTRACT

Various machine learning tasks can benefit from access to external information of different modalities, such as text and images. Recent work has focused on learning architectures with large memories capable of storing this knowledge. We propose augmenting generative Transformer neural networks with KNN-based Information Fetching (KIF) modules. Each KIF module learns a read operation to access fixed external knowledge. We apply these modules to generative dialog modeling, a challenging task where information must be flexibly retrieved and incorporated to maintain the topic and flow of conversation. We demonstrate the effectiveness of our approach by identifying relevant knowledge required for knowledgeable but engaging dialog from Wikipedia, images, and human-written dialog utterances, and show that leveraging this retrieved information improves model performance, measured by automatic and human evaluation.

研究の動機と目的

• テキスト、画像、対話履歴などの複数モodalの外部知識から、動的に関連する知識を取得・統合できるように、生成型対話モデルを拡張すること。
• メモリ自体を訓練せずに、固定された大規模な外部知識ベースから関連情報を効率的に取得する課題に対処すること。
• 微分可能でスケーラブルな方法で、取得した知識と文脈に適応した表現を組み合わせることで、対話品質を向上させること。
• モデルの応答を条件づける具体的で人間が読める知識要素を取得することで、解釈可能性を確保すること。
• 自動評価および人間評価を用いて、多モーダル・マルチソース環境下でのKIFの有効性を評価すること。

提案手法

• KIFモジュールは、Wikipediaの文や画像-発話ペairなどの事前にエンコードされた外部ソースから、K-最近傍（KNN）探索を用いて関連知識を取得する。
• 各KIFモジュールは、対話文脈から得られるクエリ埋め込みを処理し、類似度メトリクスを用いて固定メモリバンクから最近傍を検索する。
• 取得した知識は再埋め込みされ、学習可能なゲーティング機構によって重み付き和が計算される。
• モデルは、文脈表現との連結を通じて、取得した知識をデコーダーに統合し、エンドツーエンドの学習を可能にする。
• 複数ホップの検索は、層をまたがるか連続的にKIFを適用することでエミュレートされ、重複した取得を防ぐ制約が設けられる。
• FAISS などの効率的なライブラリを活用してGPU加速されたKNN推論を実現し、大規模なメモリバンクへのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 KNNベースの検索は、対話文脈において、Wikipedia や画像、対話履歴などの多様で多モーダルなソースから関連知識を効果的に特定できるか？
• RQ2 取得した知識を統合することで、生成型対話モデルの事実の正確性と整合性はどのように向上するか？
• RQ3 複数の知識ソースと複数ホップの検索を用いることで、モデルの性能にどのような影響があるか？
• RQ4 ゲーティング機構は、不要またはノイズの多い取得情報のフィルタリング能力にどのように影響するか？
• RQ5 クエリ表現の選択（例：直前の発話、対話文脈、ターン番号）が、検索品質および下流の性能にどの程度影響を与えるか？

主な発見

• KIFを拡張したTransformerは、Wizard of Wikipedia データセットでF1スコア27.4を達成し、直前の発話や対話文脈のみを用いるモデルを上回った。
• 対話文脈とターン埋め込みを組み合わせることで、直前の発話のみを用いる場合に比べてF1スコアが1.0ポイント向上した。
• ネットワークの異なる深さで知識を取得する複数のKIFモジュールを用いることで、単一モジュールの複数取得設定（F1スコア26.9）と同等の性能（F1スコア26.5）を達成した。これは、層にわたり取得を分散させることによる顕著な利点がないことを示唆している。
• 2または3ホップの複数ホップ検索は性能向上をもたらさなかった。これは、各発話が単一の知識文に根ざしているデータセットの設計に起因すると考えられる。
• ゲーティング機構がない状態で不適切な知識ソース（PersonaChat）を含めると性能が低下したが、ゲーティング機構によりほぼ完全な性能が回復した。これは、ノイズのフィルタリングに有効であることを示している。
• 最適なKNN性能はK=3で達成された。Kをこれ以上に増やすと、重み付き和における情報のぼやけが生じ、性能が低下した。