[論文レビュー] LatentGNN: Learning Efficient Non-local Relations for Visual Recognition

Songyang Zhang, Shipeng Yan+1 more|arXiv (Cornell University)|May 28, 2019

Advanced Neural Network Applications参考文献 47被引用数 46

ひとこと要約

LatentGNNは、非局所的な特徴関係を低ランク隣接表現でモデル化する潜在空間グラフニューラルネットワークを導入し、視覚認識タスクのためのスケーラブルで文脈認識的な特徴強化を可能にします。従来の非局所的手法と比べて計算量を抑えつつ、性能向上を大きくもたらします。

ABSTRACT

Capturing long-range dependencies in feature representations is crucial for many visual recognition tasks. Despite recent successes of deep convolutional networks, it remains challenging to model non-local context relations between visual features. A promising strategy is to model the feature context by a fully-connected graph neural network (GNN), which augments traditional convolutional features with an estimated non-local context representation. However, most GNN-based approaches require computing a dense graph affinity matrix and hence have difficulty in scaling up to tackle complex real-world visual problems. In this work, we propose an efficient and yet flexible non-local relation representation based on a novel class of graph neural networks. Our key idea is to introduce a latent space to reduce the complexity of graph, which allows us to use a low-rank representation for the graph affinity matrix and to achieve a linear complexity in computation. Extensive experimental evaluations on three major visual recognition tasks show that our method outperforms the prior works with a large margin while maintaining a low computation cost.

研究の動機と目的

• 視覚特徴表現における長距離依存性を捉え、認識タスクを改善する。
• 標準的なConvNetsと互換性のある、スケーラブルで効率的な非局所コンテキストモデリング機構を提供する。
• 低ランクの混合カーネルグラフ表現を通じてタスク駆動の非局所関係を学習する。
• 複数のビジョンタスク（物体検出、セマンティックセグメンテーション、点群セグメンテーション）で有効性を示す。

提案手法

• 潜在ノードを特徴ノードと互いに接続する潜在グラフネットワークを導入し、特徴を強化する。
• 可視→潜在、潜在→潜在、潜在→可視の三フェーズメッセージパッシングを行い、非局所コンテキストを推定する。
• 潜在変数を介して全グラフアフィニティを低ランクのカーネル混合として表現し、線形時間計算を実現する。
• 密なアフィニティ行列の低ランク近似に対応する行列形式の解釈を提供する。
• 深いConvNetで複数のLatentGNN層を積み重ね、元の特徴と残差風の強化で結合する。
• 2Dビジョンタスクの.grid状特徴グラフと3D点群の不規則グラフの双方に拡張し、タスク固有の損失でエンドツーエンド訓練を検証する。

実験結果

リサーチクエスチョン

• RQ1 視覚特徴の非局所関係を効率的かつ柔軟にモデリングできる latent-variable GNN は実現可能か。
• RQ2 低ランクのカーネル混合表現は、全結合GNNと比べて視覚タスクにおける拡張性と性能を向上させるか。
• RQ3 LatentGNNを標準の検出器/セグメンテータおよび点群ネットワークに組み込み、計算オーバーヘッドを抑えつつ精度を向上させることができるか。
• RQ4 LatentGNNは2D画像ベースと3D点群セグメンテーションの両方のタスクでどのように性能を発揮するか。
• RQ5 複数の潜在層や複数の低ランクカーネルを追加する場合の性能とコストへの影響はどのようになるか。

主な発見

• LatentGNNは、ベースラインより物体検出とインスタンスセマンティックセグメンテーションの性能を一貫して改善し、計算コストを低く保つ。
• 少数の潜在ノードからなる潜在空間は線形時間のメッセージパッシングを可能にし、密なアフィニティベースのGNNより大幅なスピードアップをもたらす。
• 複数の低ランクカーネルの混合は、単一カーネルと比較して表現力と性能をさらに向上させる。
• さまざまなバックボーン段階でLatentGNNを組み込むと顕著な向上が得られ、マルチステージ導入はより大きな改善を提供する。
• LatentGNNは不規則グラフデータにも効果があり、3D点群のセマンティックセグメンテーションタスクで改善を達成する。
• このフレームワークはモジュール化されておりエンドツーエンド訓練が可能で、標準のCNNバックボーン内に複数のLatentGNN層をスタックすることをサポートする。