[論文レビュー] Iterative Visual Reasoning Beyond Convolutions

Xinlei Chen, Li-Jia Li+2 more|arXiv (Cornell University)|Mar 29, 2018

Multimodal Machine Learning Applications参考文献 51被引用数 29

ひとこと要約

本稿では、空間的および意味的関係を二重モジュールアーキテクチャを用いて統合することで、畳み込みネットワークを凌駕する新たな反復的視覚推論フレームワークを提案する。局所モジュールは並列空間メモリを用い、グローバルなグラフ推論モジュールは知識、領域、割り当ての3つのグラフを備える。このフレームワークは、ADE20Kデータセットにおいてクラス別平均適合率で8.4%の絶対的向上を達成し、検出シナリオにおける領域欠落に対しても強い耐性を示す。

ABSTRACT

We present a novel framework for iterative visual reasoning. Our framework goes beyond current recognition systems that lack the capability to reason beyond stack of convolutions. The framework consists of two core modules: a local module that uses spatial memory to store previous beliefs with parallel updates; and a global graph-reasoning module. Our graph module has three components: a) a knowledge graph where we represent classes as nodes and build edges to encode different types of semantic relationships between them; b) a region graph of the current image where regions in the image are nodes and spatial relationships between these regions are edges; c) an assignment graph that assigns regions to classes. Both the local module and the global module roll-out iteratively and cross-feed predictions to each other to refine estimates. The final predictions are made by combining the best of both modules with an attention mechanism. We show strong performance over plain ConvNets, \eg achieving an $8.4\%$ absolute improvement on ADE measured by per-class average precision. Analysis also shows that the framework is resilient to missing regions for reasoning.

研究の動機と目的

• 現在の認識システムがスタックされた畳み込みに依存しており、グローバルな推論能力に欠けるという制限を解決すること。
• 外部の知識ベースからの構造的知識を統合することで、希少または未学習の意味的関係を学習する際のデータ不足問題を克服すること。
• 現実世界の検出パイプラインで一般的な不完全または欠落した領域入力に対しても、頑健な視覚的推論を可能にすること。
• 局所モジュールとグローバルモジュールを注意メカニズムを介して反復的に相互フィードバックさせ、予測を段階的に精錬する共同推論システムを開発すること。
• 空間的および意味的関係を明示的にモデル化することで、細分化された複雑なシーン理解タスクの性能を向上させること。

提案手法

• 反復処理中に効率的に領域レベルの信念を維持・精錬できるように、並列更新を用いた空間メモリに基づく局所モジュールを採用する[4]。
• 3つの相互接続されたグラフを備えたグローバルなグラフ推論モジュールを構築する：オブジェクトクラス間の意味的関係をエンコードする知識グラフ、画像領域間の空間的関係を捉える領域グラフ、領域とクラスを結ぶ割り当てグラフ。
• グローバルグラフ上で反復的メッセージパッシングを実装し、空間的および意味的関係を用いて予測を伝搬・精錬する。
• 局所モジュールとグローバルモジュールの間で予測を反復的に相互フィードバックさせ、異なる抽象レベルでの相互精錬を可能にする。
• 各出力に対して最も関連性の高い特徴を動的に重みづける注意メカニズムを用いて、両モジュールの最終予測を統合する。
• 再重み付けおよび反復的推論戦略を適用し、特に領域欠落状況下での耐性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 空間的および意味的関係を統合した視覚推論フレームワークは、複雑なシーン理解タスクにおいて、標準的なConvNetベースのモデルを顕著に上回ることができるか？
• RQ2 外部知識ベースからの構造的知識の統合は、特に希少または未学習クラスにおいて推論性能をどのように向上させるか？
• RQ3 不完全な領域提案ネットワークによって領域が欠落した場合、フレームワークはどの程度高い性能を維持できるか？
• RQ4 局所モジュールとグローバルモジュール間の反復的相互フィードバックは、独立したモジュールよりもより正確で安定した予測をもたらすか？
• RQ5 グラフベース推論メカニズムは、長距離依存性および文脈的関係をモデル化する際、エンドツーエンド畳み込みネットワークと比較してどのように異なるか？

主な発見

• 提案フレームワークは、ベースラインのConvNetと比較して、ADE20Kデータセットでクラス別平均適合率に8.4%の絶対的向上を達成し、深さを増すだけのモデルを顕著に上回る。
• COCOデータセットでは、すべてのクラスがオブジェクトレベルである状況下でも、クラス別平均適合率で3.7%の絶対的向上を達成し、検出指向ベンチマークにおける強力な一般化性能を示す。
• グローバルグラフモジュール単体でも局所モジュールを上回る性能を示しており、構造的グラフによる長距離領域間通信が、局所受容野を超えた推論を強化していることを示している。
• フレームワークは領域欠落に対して非常に耐性がある：正例領域の30.5%（IoU閾値δ = 0.8）しか保持されていなくても、「後処理」フィルタリング設定でベースラインを2.4%上回る性能を維持する。
• 領域損失が増加するに従い、性能低下は滑らかに進行するが、極めて低い再現率（δ = 0.9、再現率3.9%）では推論自体が性能を低下させることがあり、入力が不完全な状況下でもフレームワークの安定性が確認される。
• アブレーションスタディの結果、知識グラフや空間的関係を削除すると性能が著しく低下するため、効果的な推論には両方のコンポONENTの存在が不可欠であることが検証された。