[論文レビュー] Self-Assembling Modular Networks for Interpretable Multi-Hop Reasoning

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 32被引用数 4

ひとこと要約

本稿では、HotpotQAにおける解釈可能なマルチホップ質問応答のため、動的コントローラーに基づくモジュール構成を有する自己構成型ニューラルモジュラーネットワーク（NMN）を提案する。モデルは、Find、Relocate、Compare、NoOpのモジュールを用い、コントローラーRNNがソフトレイアウトを予測することで、部分的質問への分解、エキスパートレイアウトとの整合性、中間のブリッジエンティティ推論を通じて、高い解釈性と最先端の性能を達成する。

ABSTRACT

Multi-hop QA requires a model to connect multiple pieces of evidence scattered in a long context to answer the question. The recently proposed HotpotQA (Yang et al., 2018) dataset is comprised of questions embodying four different multi-hop reasoning paradigms (two bridge entity setups, checking multiple properties, and comparing two entities), making it challenging for a single neural network to handle all four. In this work, we present an interpretable, controller-based Self-Assembling Neural Modular Network (Hu et al., 2017, 2018) for multi-hop reasoning, where we design four novel modules (Find, Relocate, Compare, NoOp) to perform unique types of language reasoning. Based on a question, our layout controller RNN dynamically infers a series of reasoning modules to construct the entire network. Empirically, we show that our dynamic, multi-hop modular network achieves significant improvements over the static, single-hop baseline (on both regular and adversarial evaluation). We further demonstrate the interpretability of our model via three analyses. First, the controller can softly decompose the multi-hop question into multiple single-hop sub-questions to promote compositional reasoning behavior of the main network. Second, the controller can predict layouts that conform to the layouts designed by human experts. Finally, the intermediate module can infer the entity that connects two distantly-located supporting facts by addressing the sub-question from the controller.

研究の動機と目的

• 証拠が長い文脈に散らばっており、複数の推論ステップを要するマルチホップ質問応答の課題に対処すること。
• 質問の推論タイプに応じて、異なる推論モジュールを動的に組み立てるモジュラー型ニューラルネットワークを設計すること。
• 人間が設計した計画に類似した推論レイアウトを予測することで、質問を部分的質問に分解し、解釈性を向上させること。
• コントローラーに基づくモジュール選択と中間推論の追跡を通じて、推論ステップの透明性を保ちながらHotpotQAで高い性能を達成すること。

提案手法

• コントローラーRNNが各推論ステップで、Find、Relocate、Compare、NoOpの4つのモジュールの分布を予測することで、ソフトレイアウトを生成する。
• Findモジュールは、質問と文脈の埋め込み間のバイアテンションを用いて、標準的なスパン抽出を実行する。
• Relocateモジュールは、以前の回答に依存して注意を新しい部分質問にシフトさせることで、逐次的推論を可能にする。
• Compareモジュールは、2つの以前のモジュールの出力を比較して、'同じ'や'異なる'などの質問のキーワードを用いて、yes/no質問に答える。
• NoOpモジュールは、追加の推論が不要な場合に現在の状態を保持する。
• モデルは微分可能なスタックベースのメモリと連続的レイアウト予測を用い、勾配降下によるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経的モジュラーネットワークは、質問の種別に応じて推論モジュールを動的に構成することで、マルチホップQAタスクを解けるか？
• RQ2 コントローラーRNNは、構成的推論を反映する意味のある部分質問に、複雑な質問をどの程度うまく分解できるか？
• RQ3 予測されたモジュラーレイアウトは、異なる推論パラダイムにおいて、人間が設計したエキスパートレイアウトとどの程度整合するか？
• RQ4 モデルは、推論チェーンにおいて離れた支援的事実を結ぶ中間のブリッジエンティティを推論できるか？
• RQ5 BERTを文脈エンコーダーとして統合することで、モジュラーアーキテクチャの解釈性を保ちながら性能が向上するか？

主な発見

• 本モデルは、HotpotQAにおける標準的および悪意のある評価の両方で、静的シングルホップベースラインを顕著に上回る。
• ブリッジ型質問では99.9%、yes/no回答の比較型質問では68.6%の割合で、コントローラーが人間エキスパートの設計と一致するレイアウトを予測した。
• コントローラーはマルチホップ質問を部分的質問に成功して分解し、分析した4例すべてで注意マップが意図された推論ステップと一致した。
• ブリッジ型質問では100%の割合で中間のブリッジエンティティ（例：'シャーリー・テンプル'）を正しく同定し、有効な推論チェーン構築を示した。
• BERT埋め込みを統合した場合、モデルは56.63 EMおよび71.26 F1を達成し、ファインチューニング済みBERT-baseと同等の性能を発揮しながら、優れた解釈性を実現した。
• BERTを統合したNMNコントローラーは、比較型質問において96.9%のエキスパートレイアウト整合度を達成し、非BERTバージョンを著しく上回った。