[論文レビュー] Learning Video Instance Segmentation with Recurrent Graph Neural Networks

Joakim Johnander, Emil Brissman+2 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 7

ひとこと要約

本論文は、検出割り当て、トラック管理、外見モデリングを統合的にモデル化する再帰的グラフニューラルネットワーク（GNN）を用いた、動画インスタンスセグメンテーションの新規エンドツーエンド学習定式化を提案する。この手法は30 FPSの推論速度を達成し、YouTubeVISにおいて先行するリアルタイム手法よりもmAPを9.2%向上させ、遮蔽、誤検出、外見の変化に対して優れた精度と頑健性を示している。

ABSTRACT

Most existing approaches to video instance segmentation comprise multiple modules that are heuristically combined to produce the final output. Formulating a purely learning-based method instead, which models both the temporal aspect as well as a generic track management required to solve the video instance segmentation task, is a highly challenging problem. In this work, we propose a novel learning formulation, where the entire video instance segmentation problem is modelled jointly. We fit a flexible model to our formulation that, with the help of a graph neural network, processes all available new information in each frame. Past information is considered and processed via a recurrent connection. We demonstrate the effectiveness of the proposed approach in comprehensive experiments. Our approach, operating at over 25 FPS, outperforms previous video real-time methods. We further conduct detailed ablative experiments that validate the different aspects of our approach.

研究の動機と目的

• 動画インスタンスセグメンテーションにおけるモジュール型でヒューリスティックなパイプラインの限界を克服するため、タスクを統合的学習問題として定式化すること。
• 推論プロセスに近い形で、時間的推論とグローバルなトラック管理を含むエンドツーエンド学習を可能にすること。
• 統一的で微分可能フレームワークを通じて、検出エラー、遮蔽、外見の変化に対する頑健性を向上させること。
• 特に困難な動画シーケンスにおいても、精度を損なわずリアルタイム性能（25 FPS以上）を達成すること。

提案手法

• モデルは、各フレーム内のすべての検出結果とトラックを処理するためのグラフニューラルネットワーク（GNN）を用い、検出結果と既存のトラック間のペアワイズ一致確率を計算する。
• 再帰的接続により、フレーム間でトラック埋め込みを保持・更新し、時間的推論と状態の持続性を実現する。
• トラック埋め込みは、信頼度、クラス所属、および学習可能な更新ルールを備えたガウス分布としてモデル化された外見特徴を予測するために使用される。
• ネットワークは同時に予測する：（1）検出結果が新しいトラックを初期化すべきかどうか、（2）検出結果とトラックの関連確率、（3）トラックレベルの信頼度とクラス。
• マスクIoU、クラスのクロネッカー・デルタ、検出信頼度を組み合わせた微分可能損失関数を用いて、エンドツーエンドで訓練する。
• 学習可能な外見モデリングコンponentは、微分可能なガウス分布を介してトラック埋め込みを更新し、外見変化に対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統一的でエンドツーエンド微分可能なフレームワークは、モジュール型でヒューリスティックなパイプラインを上回ることができるか？
• RQ2 再帰的GNNアーキテクチャは、長期的なトラック一貫性と時間的依存性をどれほど効果的にモデル化できるか？
• RQ3 学習可能な外見モデリングは、遮蔽や外見変化に対する頑健性をどの程度向上させるか？
• RQ4 複雑な動画シーケンスにおいても、高精度を維持しながらリアルタイム（≥25 FPS）で動作できるか？

主な発見

• 提案手法は30 FPSの推論速度を達成し、YouTubeVISにおいてすべての先行リアルタイム手法を上回り、DeepSORTに対して9.2%の絶対的mAP向上、MaskTrack R-CNNに対して5.0%の向上を達成した。
• アブレーションスタディの結果、外見モデリングを削除するか、定数共分散を用いるとmAPが6.1ポイントも低下し、その重要性が浮き彫りになった。
• LSTMのようなゲーティング機構を削除すると学習の不安定化と発散が生じ、最適化の安定性にとって不可欠であることが示された。
• ResNet50バックボーンをResNet101に置き換えると顕著な性能向上が得られ、より強力な特徴抽出の恩恵がある一方で、推論時間の増加を伴うことが確認された。
• 定性的な結果から、検出失敗の処理、誤検出の抑制、遮蔽中のトラック維持が成功していることが示された。
• 失敗事例には、アノテーションのないクラス（例：ペンギン）のトラッキングや、人物の絵など物理的でない対象の誤認識が含まれ、非物理的対象への一般化の限界が示された。