[論文レビュー] Compositional Attention Networks for Interpretability in Natural Language Question Answering

Selvakumar Murugan, Suriyadeepan Ramamoorthy+2 more|arXiv (Cornell University)|Oct 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 8被引用数 5

ひとこと要約

本稿では、構成的アテンションと反復的推論を活用して段階的な論理を追跡する解釈可能な自然言語質問応答のための修正MACネットワークを提案する。bAbIタスクにおいて高いデータ効率性と解釈可能性を達成し、アテンション分布が詳細な推論経路を明らかにする。

ABSTRACT

MAC Net is a compositional attention network designed for Visual Question Answering. We propose a modified MAC net architecture for Natural Language Question Answering. Question Answering typically requires Language Understanding and multi-step Reasoning. MAC net's unique architecture - the separation between memory and control, facilitates data-driven iterative reasoning. This makes it an ideal candidate for solving tasks that involve logical reasoning. Our experiments with 20 bAbI tasks demonstrate the value of MAC net as a data-efficient and interpretable architecture for Natural Language Question Answering. The transparent nature of MAC net provides a highly granular view of the reasoning steps taken by the network in answering a query.

研究の動機と目的

• 推論ステップをアテンション追跡によって可視化することで、ニューラル質問応答における解釈可能性を向上させること。
• 視覚的質問応答を目的としたMAC Netアーキテクチャを自然言語推論タスクに適応させること。
• bAbIデータセット上でモデルの性能と解釈可能性を評価し、データ効率性と推論の透明性に注目すること。
• アーキテクチャ的要素がモデルの性能と推論の正確性に与える影響を調査すること。

提案手法

• 視覚的質問応答を目的とした元のMAC Netアーキテクチャを、テキストの文脈埋め込みをLSTMから得る形に置き換えることで適応する。
• 制御ユニットを用いて、以前の推論ステップに依存するように、段階的にアテンションクエリを生成することで、複数ステップの推論を可能にする。
• リードユニットを用いて、ストーリー表現とクエリキーワードのアテンションを組み合わせ、段階的に関連する証拠を取得する。
• 推論状態をステップごとに保持・更新するメモリ機構を導入し、動的で反復的な推論を可能にする。
• ストーリーおよびクエリの両方に対するアテンション分布を用いて、各推論ステップの可視化と解釈を可能にする。
• 制御語と以前のメモリ状態を重み付きアテンションで結合することで、グラフ推論を導入し、推論の整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的質問応答を目的とした元のMAC Netアーキテクチャを、同等の解釈可能性を維持したまま自然言語質問応答に効果的に適応できるか？
• RQ2 推論ステップ数の変化に伴うモデルの性能はどのように変化するか？また、bAbIタスクにおける最適な推論深さは何か？
• RQ3 共有LSTMと個別LSTM、メモリアクセス、グラフ推論といったアーキテクチャ的要素が、モデルの正確性と解釈可能性に与える影響はどの程度か？
• RQ4 モデルは、縮小されたデータサブセットで学習した場合にどの程度一般化できるか？また、提案アーキテクチャのデータ効率性は何か？

主な発見

• 本モデルは、bAbIデータセットの10%のみで学習した場合でも79.4%の精度を達成し、優れたデータ効率性を示した。
• 性能は2ステップの推論でピークに達し、さらにステップを増やすと性能が低下した。これは、bAbIタスクの多くが短い推論チェーンで十分であることを示唆している。
• 制御ユニットで以前のメモリへのアクセスを削除した場合、性能が急激に低下した。これは、推論におけるメモリ保持の重要性を強調している。
• アブレーションスタディの結果、ストーリーとクエリのエンコーディングに別個のLSTMを使用した場合、精度が1%低下した。これは、共有エンコーディングにほとんど利点がないことを示している。
• モデルのアテンション分布により、例えば「ジェシカは誰ですか？」に焦点を当てる段階、次に「ネズミは何かを恐れているか？」に焦点を当てる段階といった、詳細な推論ステップの可視化が可能になった。
• 各ステップでストーリーを再読書することで、文脈的に関連する事実を複数ステップにわたって統合することができた。これは、アテンションパターンが段階的に関連する情報を組み合わせていることからも明らかになった。