[論文レビュー] Visual Reasoning by Progressive Module Networks

Seung Wook Kim, Makarand Tapaswi+1 more|arXiv (Cornell University)|Jun 6, 2018

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、再利用可能なブラックボックス型の低レベルモジュールから段階的に高レベルのタスクを構築することで、視覚的推論モデルを訓練する微分可能で構成的なフレームワーク、プログレッシブモジュールネットワーク（PMN）を提案する。ソフトゲーティング機構を介して既存のモジュールを照会・組み合わせることで、PMNは視覚的推論タスク全体で性能向上を達成し、明示的な推論トレースにより解釈性が向上し、災難的忘却を回避するための事前学習済みスキルの再利用によってデータ効率性も向上する。

ABSTRACT

Humans learn to solve tasks of increasing complexity by building on top of previously acquired knowledge. Typically, there exists a natural progression in the tasks that we learn - most do not require completely independent solutions, but can be broken down into simpler subtasks. We propose to represent a solver for each task as a neural module that calls existing modules (solvers for simpler tasks) in a functional program-like manner. Lower modules are a black box to the calling module, and communicate only via a query and an output. Thus, a module for a new task learns to query existing modules and composes their outputs in order to produce its own output. Our model effectively combines previous skill-sets, does not suffer from forgetting, and is fully differentiable. We test our model in learning a set of visual reasoning tasks, and demonstrate improved performances in all tasks by learning progressively. By evaluating the reasoning process using human judges, we show that our model is more interpretable than an attention-based baseline.

研究の動機と目的

• 従来のマルチタスク学習における限界、すなわちタスク同士が独立しており、互いの知識を活用しないことに対処すること。
• 神経ネットワークが単純で事前学習済みのモジュールの組み合わせによって、徐々に複雑な視覚的推論タスクを学習できることを可能にすること。
• 組み合わせたモジュールの照会と応答トレースを明らかにすることで、推論プロセスを明示的にすることでモデルの解釈性を向上させること。
• 事前学習済みモジュールの再利用によって、災難的忘却を回避し、データ要件を低減することで、データ効率性を高めること。

提案手法

• 各タスクは、ソフトゲーティング機構を介して低レベルのモジュールから照会・組み合わせた出力を得られるニューラルモジュールとして表現される。
• モジュールは照会と出力のみを介して通信され、低レベルのモジュールをブラックボックスとして扱うため、モジュラーな組み合わせと再利用が可能になる。
• モデルは完全に微分可能であり、モジュールの組み合わせと通信パラメータをエンドツーエンドで訓練可能である。
• 使用されたモジュールのシーケンスからルールベースの自然言語説明が生成され、推論品質の人的評価が可能になる。
• 親モジュールがタスク要件に基づいてどの子モジュールを照会すべきかを学習する、選択的情報フローが可能である。
• 事前学習済みモジュールの再利用と、モジュール間通信の学習に限定することで、災難的忘却を防止するアーキテクチャ設計がなされている。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークは、単純で事前学習済みのモジュールの組み合わせによって、複雑な視覚的推論タスクを解くことができるか？
• RQ2 エンドツーエンド学習と比較して、モジュールの段階的組み合わせが性能向上とデータ効率性をもたらすか？
• RQ3 照会と応答のシーケンスを公開することで、推論プロセスを解釈可能にすることができるか？
• RQ4 低データ環境下でのモデルの性能はどのようになるか？また、事前学習済みコンponentsの再利用によって性能を維持できるか？
• RQ5 特に複雑な推論タスクにおいて、PMNは注意メカニズムベースのベースラインを、正確性と解釈性の両面で上回ることができるか？

主な発見

• PMNは、VQA、数え上げ、キャプション生成、関係性推論を含む、すべての評価済み視覚的推論タスクで非構成的ベースラインを上回った。
• 人間の評価者による評価では、PMNの推論説明はベースラインよりも顕著に高く評価され、正しい回答では1.38ポイントの優位性を示し、正しいPMN回答と誤ったベースライン回答の間では0.74ポイントの優位性を示した。
• 低データ環境下では、学習データの10％のみを使用しても、PMNは最大で4.01%の絶対的精度向上を達成し、強いデータ効率性を示した。
• 学習データの25％以上を使用した場合、モジュール再利用による性能向上は約2%で安定したため、知識移譲の継続的利点が裏付けられた。
• PMNの推論プロセスは、誤りに対するロバスト性が高かった：最終的な回答が誤っても、推論ステップの一部が正しければ、ベースラインの誤った推論よりも人間の評価が高かった。
• モデルのモジュールの組み合わせ能力により、複雑な質問を、まずオブジェクトを検出するなど、部分タスクに分解して解けるようになった。