[論文レビュー] Attentive Memory Networks: Efficient Machine Reading for Conversational Search

Tom Kenter, Maarten de Rijke|arXiv (Cornell University)|Dec 19, 2017

Topic Modeling参考文献 24被引用数 40

ひとこと要約

本稿では、会話検索における効率的でエンド・ツー・エンドで学習可能な機械学習モデルとして、階層的入力エンコーダーを用いるアテンションメモリネットワーク（AMN）を提案する。このモデルは、計算量を削減しながら最先端の性能を維持する。AMNは20の機械学習データセットにおいて競争力ある精度を達成し、パラメータ数を大幅に減らし、推論速度を向上させる。これは、リアルタイムの会話システムに適している。

ABSTRACT

Recent advances in conversational systems have changed the search paradigm. Traditionally, a user poses a query to a search engine that returns an answer based on its index, possibly leveraging external knowledge bases and conditioning the response on earlier interactions in the search session. In a natural conversation, there is an additional source of information to take into account: utterances produced earlier in a conversation can also be referred to and a conversational IR system has to keep track of information conveyed by the user during the conversation, even if it is implicit. We argue that the process of building a representation of the conversation can be framed as a machine reading task, where an automated system is presented with a number of statements about which it should answer questions. The questions should be answered solely by referring to the statements provided, without consulting external knowledge. The time is right for the information retrieval community to embrace this task, both as a stand-alone task and integrated in a broader conversational search setting. In this paper, we focus on machine reading as a stand-alone task and present the Attentive Memory Network (AMN), an end-to-end trainable machine reading algorithm. Its key contribution is in efficiency, achieved by having an hierarchical input encoder, iterating over the input only once. Speed is an important requirement in the setting of conversational search, as gaps between conversational turns have a detrimental effect on naturalness. On 20 datasets commonly used for evaluating machine reading algorithms we show that the AMN achieves performance comparable to the state-of-the-art models, while using considerably fewer computations.

研究の動機と目的

• 応答の遅延が自然さに影響を与える会話検索システムにおいて、効率的でリアルタイムな機械学習のニーズに対応する。
• 既存のモデルと比較して計算コストを低減しながらも高い性能を維持するメモリネットワークアーキテクチャを開発する。
• 会話検索を外部知識なしに、過去の対話発話のみから答えを導き出す独立した機械学習タスクとして定式化する。
• 簡素化された階層的エンコーダー設計が、少ないトレーニングステップと低い推論コストで競争力のある結果を達成できることを示す。
• 多様で明確に定義された機械学習ベンチマークを用いてモデルを評価し、汎用性と効率性の向上を確立する。

提案手法

• 2段階の処理（文単位と文書単位の符号化）を経る階層的入力エンコーダーを備えたエンド・ツー・エンドで学習可能なメモリネットワークを提案する。
• マルチレイヤーのアテンション機構を用いて、デコーダーが符号化された入力の関連部分に選択的に注目できるようにする。これにより、アテンションの効率が向上する。
• 入力に対して一回のパスでの符号化処理を適用し、入力を複数回反復処理するモデルと比較して、計算オーバーヘッドを低減する。
• 入力テキストの表現を保存・更新するメモリモジュールを実装し、長期間の文脈を考慮した推論を可能にする。
• 標準的な機械学習損失関数を用いてエンド・ツー・エンドで学習し、答えのスパン予測を最適化する。
• 主な評価フレームワークとして、多様で明確に定義された推論タスクを備えたbAbiデータセットスイートを活用する。

実験結果

リサーチクエスチョン

• RQ1 階層的入力エンコーダーを備えたメモリネットワークは、計算コストを顕著に削減しながらも、機械学習分野で最先端の性能を達成できるか？
• RQ2 AMNのワンパス符号化戦略は、複数反復処理を行うモデルと比較して、推論速度と精度の面でどのように異なるか？
• RQ3 AMNのような簡素化されたアーキテクチャは、マルチホップ推論を要するタスクを含め、多様な機械学習タスクにどの程度一般化できるか？
• RQ4 フラットな符号化アプローチと比較して、階層的符号化はアテンションの集中とモデルの解釈可能性をどのように向上させるか？
• RQ5 モデルは少ないトレーニングエポック数で最適な性能に到達できるか？これは、リアルタイムの会話アプリケーションに適しているか？

主な発見

• AMNは、マルチホップ推論を要するものも含め、20の多様な機械学習データセットにおいて、最先端のモデルと同等の性能を達成する。
• 単純さにもかかわらず、AMNは「2つの支援的事実」と「3つの支援的事実」などのタスクで、より強力なモデルと同等またはそれを上回る性能を示し、計算コストも低い。
• 通常100未満のトレーニングエポックで最適な性能に到達する。これは、収束が早く、低遅延環境に適していることを示している。
• アテンションの可視化結果から、AMNは複雑なケース（誘導的要因を含む）でも関連する文に効果的に注目しており、初期の誤った注目にも回復している。
• 「サイズ推論」と「3つの支援的事実」のデータセットでは、モデルが頑健なアテンションパターンを示すが、極めて曖昧またはノイズの多い例では偶々失敗することがある。
• アブレーションスタディの結果、階層的エンコーダーは効率性とアテンションの質を向上させており、メモリステップ数を減らしても性能の低下が最小限に抑えられている。