[論文レビュー] Dynamic Regions Graph Neural Networks for Spatio-Temporal Reasoning.

Iulia Duta, Andrei Liviu Nicolicioiu|arXiv (Cornell University)|Sep 17, 2020

Human Pose and Action Recognition参考文献 62被引用数 5

ひとこと要約

本論文では、入力特徴に条件づけられた微分可能プーリング機構を用いて、動的に局所的で適応的な領域をグラフノードとして生成する、動的領域グラフニューラルネットワーク（DR-GNN）を提案する。オブジェクトレベルの教師なしでオブジェクト中心の表現を学習することで、視覚的相互作用のモデリングを向上させ、インスタンスレベルの相互作用を含む動画分類タスクで最先端の性能を達成する。

ABSTRACT

Graph Neural Networks are perfectly suited to capture latent interactions occurring in the spatio-temporal domain. But when an explicit structure is not available, as in the visual domain, it is not obvious what atomic elements should be represented as nodes. They should depend on the context and the kinds of relations that we are interested in. We are focusing on modeling relations between instances by proposing a method that takes advantage of the locality assumption to create nodes that are clearly localised in space. Current works are using external object detectors or fixed regions to extract features corresponding to graph nodes, while we propose a module for generating the regions associated with each node dynamically, without explicit object-level supervision. Conditioned on the input, for each node we predict the location and size of a region and use them to pool node features using a differentiable mechanism. Constructing these localised, adaptive nodes makes our model biased towards object-centric representations and we show that it improves the modeling of visual interactions. By relying on a few localized nodes, our method learns to focus on salient regions leading to a more explainable model. Our model achieves superior results on video classification tasks involving instance interactions.

研究の動機と目的

• 明示的な構造やオブジェクト検出器が利用できない状況において、動的時間的動画理解のためのグラフニューラルネットワークにおける意味的で局所的なノードを定義する課題に対処すること。
• 各ノードごとに動的に領域の位置とサイズを予測することで、顕著な局所的領域に注目する方法を構築し、表現学習を向上させること。
• 動的に生成された領域におけるエンドツーエンドの微分可能特徴プーリングを可能にし、固定または外部の領域提案に依存するのを減らすこと。
• 局所的で適応的なノードを内蔵することで、モデルの説明可能性を向上させ、顕著な視覚的インスタンスを強調すること。

提案手法

• 各グラフノードに対して、入力特徴を用いて領域の空間的位置とサイズを予測する学習可能なモジュールを導入する。
• 予測された領域からの特徴抽出を可能にする微分可能な空間プーリング機構を適用し、領域選択のバックプロパゲーションを可能にする。
• 領域生成は入力特徴マップとノードの表現に条件づけられており、文脈に応じた局所化を可能にする。
• グラフ構造は動的に生成された領域に基づいて構築され、GNNが局所的で適応的なノード間の相互作用を推論できるようにする。
• パイプライン全体がエンドツーエンド微分可能であり、領域予測とメッセージパッシングの共同最適化が可能である。
• 外部のオブジェクト検出器や固定の領域提案を避けており、学習された適応的領域にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 動的に生成され、適応的な領域が、動画理解のためのグラフニューラルネットワークにおける効果的で意味のあるノードとして機能できるか？
• RQ2 入力文脈に基づいてノードの局所化を学習することで、動画内のインスタンスレベルの相互作用のモデリングがどの程度向上するか？
• RQ3 オブジェクトレベルの教師なしで、固定または検出器ベースの領域ではなく動的に生成された領域を使用する場合、性能にどの程度影響を与えるか？
• RQ4 グローバル特徴ではなく、顕著な局所的領域に注目することで、モデルがより高い性能と説明可能性を達成できるか？
• RQ5 微分可能な領域プーリング機構は、標準的なプーリングまたは固定領域ベースラインと比較して、精度と頑健性の面でどの程度優れているか？

主な発見

• 提案されたDR-GNNモデルは、インスタンスレベルの相互作用を含む動画分類ベンチマークで最先端の性能を達成し、固定または検出器ベースの領域を用いる手法を上回る。
• モデルは顕著な局所的領域に注目するよう学習し、視覚的に関連のあるオブジェクトと整合するより説明可能な注視パターンを生成する。
• オブジェクトレベルの教師なしを排除することで、オブジェクト検出器が信頼性が低いか利用できない状況においても、より一般化しやすくなる。
• 微分可能な領域プーリング機構により、領域選択とグラフメッセージパッシングの両方に対する効果的なバックプロパゲーションと共同最適化が可能になる。
• アブレーションスタディにより、固定またはランダムな領域ベースラインと比較して、動的領域生成が性能を顕著に向上させることを確認した。