[論文レビュー] Graph-Based Global Reasoning Networks

Yunpeng Chen, Marcus Rohrbach+4 more|arXiv (Cornell University)|Nov 30, 2018

Human Pose and Action Recognition参考文献 32被引用数 16

ひとこと要約

本稿では、グローバルリレーションリasoningを効率的に行うために、特徴を相互作用空間に投影する軽量で微分可能なモジュール、Global Reasoning unit (GloRe) を提案する。このモジュールは、グラフ畳み込みを用いてグローバルな関係性を推論することで、計算コストを著しく増加させることなく、2Dおよび3Dネットワークにおける画像分類、セマンティックセグメンテーション、動画アクション認識の最先端モデルを一貫して向上させる。

ABSTRACT

Globally modeling and reasoning over relations between regions can be beneficial for many computer vision tasks on both images and videos. Convolutional Neural Networks (CNNs) excel at modeling local relations by convolution operations, but they are typically inefficient at capturing global relations between distant regions and require stacking multiple convolution layers. In this work, we propose a new approach for reasoning globally in which a set of features are globally aggregated over the coordinate space and then projected to an interaction space where relational reasoning can be efficiently computed. After reasoning, relation-aware features are distributed back to the original coordinate space for down-stream tasks. We further present a highly efficient instantiation of the proposed approach and introduce the Global Reasoning unit (GloRe unit) that implements the coordinate-interaction space mapping by weighted global pooling and weighted broadcasting, and the relation reasoning via graph convolution on a small graph in interaction space. The proposed GloRe unit is lightweight, end-to-end trainable and can be easily plugged into existing CNNs for a wide range of tasks. Extensive experiments show our GloRe unit can consistently boost the performance of state-of-the-art backbone architectures, including ResNet, ResNeXt, SE-Net and DPN, for both 2D and 3D CNNs, on image classification, semantic segmentation and video action recognition task.

研究の動機と目的

• 特徴マップ内の離れた領域や不規則な形状の領域同士の長距離でグローバルな関係性を捉えることがCNNの限界であることを解決すること。
• 深層の畳み込み層のスタックに依存せずに、効率的でエンドツーエンド微分可能なグローバル推論を、ネットワークの初期段階で実現すること。
• 既存のCNNアーキテクチャを大幅に見直さずに容易に統合可能な軽量モジュールを設計すること。
• 2Dおよび3Dネットワークを含む、画像分類、セマンティックセグメンテーション、動画アクション認識を含む多様なビジョンタスクにおける性能向上を図ること。

提案手法

• 空間的領域からの特徴が重み付きグローバルプーリングにより globally 統合され、相互作用空間内のノード埋め込みの集合が形成される。
• 相互作用空間に完全結合グラフが構築され、各ノードはグローバルまたはローカルなパターンを捉えるプールド特徴記述子を表す。
• ノード特徴間の関係性をモデル化するために、相互作用グラフ上でグラフ畳み込みネットワーク（GCNs）を用いて関係性推論が行われる。
• 更新された関係性に配慮した特徴が、重み付きブロードキャストを介して元の座標空間に再投影され、下流タスクに供される。
• 全プロセスが微分可能でエンドツーエンド微分可能であり、特徴統合、相互作用、再構築の共同最適化が可能である。
• GloReユニットはプラグアンドプレイ設計であり、ResNet、ResNeXt、SE-Net、DPNなどのさまざまなバックボーンと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 離れた領域や不規則な形状の領域間におけるグローバル関係性推論を、専用の相互作用空間で効率的に行うことは可能か？
• RQ2 グローバル推論を軽量かつ既存のCNNアーキテクチャと互換性を持たせるにはどうすればよいか？
• RQ3 グラフ畳み込みを用いた学習可能な相互作用空間を導入することで、標準のCNNや既存のグローバルモデリング手法と比較して、ビジョンタスクの性能が向上するか？
• RQ4 提案手法は、画像分類、セマンティックセグメンテーション、動画アクション認識を含む多様なタスクに一般化可能か？

主な発見

• ResNet-50を用いたImageNet-1K分類では、トップ1精度が0.90%向上し、75.12%の精度を達成。Kinetics-400動画アクション認識でも、76.09%の動画レベルトップ1精度を記録。
• Kinetics-400では、ResNet-101(3D)を用いたGloReが、先行研究のNL-Netを0.40%上回る76.09%の動画レベルトップ1精度を達成。
• 2Dおよび3Dネットワークの複数のバックボーン（ResNet、ResNeXt、SE-Net、DPN）において、一貫した性能向上が確認された。
• 可視化結果から、学習されたプロジェクション重みがエッジ、目、ひげなど多様で意味的意味のあるパターンに集中していることが示され、モデルが判別能のあるグローバル構造を捉える能力を有していることが裏付けられた。
• ResNet-50(3D)ではわずか28.9G FLOPsのFLOPオーバーヘッドしか発生せず、顕著な精度向上を実現した。これにより、本手法の効率性とスケーラビリティが裏付けられた。