[論文レビュー] Dynamic Graph Message Passing Networks

Li Zhang, Dan Xu+2 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、視覚タスクにおける長距離メッセージパッシングを効率的に行うために、動的ノードサンプリングと位置固有のフィルタ重み・アフィニティ行列の学習を組み合わせた、新たな手法である動的グラフメッセージパッシングネットワーク（DGMN）を提案する。DGMNは、完全接続型Non-localネットワークの9.4%のFLOPsと25.3%のパラメータで、Semantic Segmentation、Object Detection、Instance Segmentationの各タスクで最先端の性能を達成した。

ABSTRACT

Modelling long-range dependencies is critical for scene understanding tasks in computer vision. Although CNNs have excelled in many vision tasks, they are still limited in capturing long-range structured relationships as they typically consist of layers of local kernels. A fully-connected graph is beneficial for such modelling, however, its computational overhead is prohibitive. We propose a dynamic graph message passing network, that significantly reduces the computational complexity compared to related works modelling a fully-connected graph. This is achieved by adaptively sampling nodes in the graph, conditioned on the input, for message passing. Based on the sampled nodes, we dynamically predict node-dependent filter weights and the affinity matrix for propagating information between them. Using this model, we show significant improvements with respect to strong, state-of-the-art baselines on three different tasks and backbone architectures. Our approach also outperforms fully-connected graphs while using substantially fewer floating-point operations and parameters. The project website is http://www.robots.ox.ac.uk/~lz/dgmn/

研究の動機と目的

• シーン理解における長距離依存関係を捉えるために、完全接続型グラフモデルの高い計算コストを軽減すること。
• CNNの固定された局所受容野や、GraphSAGEの静的サンプリングの制限を克服し、長距離の文脈的関係をモデル化すること。
• 入力依存の特徴に基づいて関連するノードを動的に選択することで、効率的かつ効果的なメッセージパッシングを可能にすること。
• 動的ノードサンプリング、適応的フィルタ重み、アフィニティ行列を統合的に最適化し、表現学習を向上させること。
• 既存のバックボーンネットワークへの最小限の変更で統合可能なDGMNモジュールを設計し、広範な適用可能性を実現すること。

提案手法

• 入力に依存するノード特徴に基づき、学習された位置固有のランダムウォーク機構を用いて、特徴グラフからノードのサブセットを動的にサンプリングする。
• サンプリングされたノードに条件づけられたノード依存のフィルタ重みとアフィニティ行列を学習し、適応的メッセージパッシングを可能にする。
• 情報の集約に学習された動的フィルタとアフィニティを用いることで、微分可能プロセスとしてメッセージパッシングを定式化する。
• ResNetおよびResNeXtバックボーンの畳み込みブロックの後に、DGMNモジュールをプラグインレイヤーとして統合する。
• 複数のヘッドを用いて複数のフィルタ群とアフィニティ群を予測することで、より豊かな特徴モデリングを実現する。
• 検出およびセグメンテーションのタスクにおいて、交差エントロピー損失に加え、ボックス損失・マスク損失を用いて、標準的なバックプロパゲーションでモデル全体をエンドツーエンド最適化する。

Figure 1: Contextual information is crucial for complex scene understanding tasks. To recognise the “boathouse”, one needs to consider the “boat” and the “water” next to it. Fully-connected message passing models (a) are able to obtain this information, but are prohibitively expensive. Furthermore,

実験結果

リサーチクエスチョン

• RQ1 動的ノードサンプリングは、視覚タスクにおける長距離文脈モデリングを維持しつつ、計算コストを削減できるか？
• RQ2 位置固有のフィルタ重みとアフィニティを学習することで、メッセージパッシングの効率性と表現品質が向上するか？
• RQ3 DGMNは、FLOPsとパラメータ数を大幅に削減した上で、完全接続型Non-localネットワークを性能で上回れるか？
• RQ4 ResNet-101 や ResNeXt-101 といった強力なバックボーンに統合した場合、DGMNは複数のタスクでどれほど有効であるか？
• RQ5 サンプリングレートやフィルタグループ数の変更が、DGMNの性能と効率に与える影響は何か？

主な発見

• 動的フィルタとアフィニティを備えたDGMNは、Cityscapesで40.2 AP、COCOで44.3 APを達成し、Non-localネットワークを上回る性能を発揮しながら、FLOPsは9.4%、パラメータは25.3%にまで削減された。
• COCOでは、ResNeXt-101-FPNを用いたMask R-CNNに対して、APボックスで1.7ポイント、APマスクで1.2ポイント向上させ、CornerNetなどの最先端の1段階検出器をAPボックスで2.1ポイント上回った。
• ResNet-101 に適用した場合、APボックスは1.6ポイント、APマスクは1.2ポイント向上させ、強力なバックボーンへの高い汎用性を示した。
• アブレーションスタディの結果、動的サンプリングと動的重み／アフィニティの両方が性能向上に顕著な貢献を示し、完全なDGMNモデルが最良の結果を達成した。
• CityscapesおよびCOCOにおける定性的な結果から、DGMNは誤検出と誤検出を減らし、より鋭く正確なインスタンスセグメンテーションマスクを生成することがわかった。
• シングルスケール・シングルモデル推論で、COCO test-devで最先端の性能を達成した。追加データやトレーニングテクニックを一切使用していない。

Figure 2: Overview of our proposed dynamic graph message passing network (DGMN). The neighbourhood used to update the feature representation of each node (we show a single node with a red square) is predicted dynamically conditioned on each input. This is done by first uniformly sampling (denoted by