[論文レビュー] FGAGT: Flow-Guided Adaptive Graph Tracking.

Chaobing Shan, Chunbo Wei+5 more|arXiv (Cornell University)|Oct 18, 2020

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

本稿では、光流予測を用いて履歴オブジェクト特徴と現在フレームの特徴をアライメントするフローガイドドアダプティブグラフトラッキング（FGAGT）を提案する。その後、グラフニューラルネットワークを用いて時空間的位置と外観情報を統合し、データアソシエーションを向上させる。本手法は最先端の性能を達成し、MOT17でFairMOTを8.4 MOTAポイント上回り、CenterTrackに対しても同程度の優位性を示した。

ABSTRACT

Most previous tracking methods usually use the optical flow method to estimate the position of the historical object in the current frame and then use the linear combination of feature similarity and IOU(Intersection over Union) to perform association matching near the position. However, the features used in these methods are not aligned, i.e., the features of the historical objects are extracted from the historical feature maps, not from the current frame, even the same object may undergo posture, angle, etc. changes during the movement, and even light intensity changes. In addition, most methods only use the appearance information when extracting the feature vector, not the position relationship, nor the feature information of the historical object, so the information is not fully utilized. In order to solve the above problems, we proposed the FGAGT tracker, which uses the optical flow method to predict the center position of the historical object in the current frame and extract the feature vector, so that the feature of the historical object can be aligned with the feature of the object in the current frame. Then these features are input into the graph neural network, and the global Spatio-temporal position and appearance information are integrated to update the feature vectors of all objects. In the training phase, we propose the Balanced MSE LOSS to balance the sample distribution for data association. Experiments show that our method reaches the level of state-of-the-art, where the MOTA index exceeds FairMOT by 2.5 points, and CenterTrack by 8.4 points on the MOT17 dataset, exceeds FairMOT by 1.6 points on the MOT16 dataset. Code will be avaliable.

研究の動機と目的

• トラッキングシステムにおける履歴フレームと現在フレームのオブジェクト特徴間の特徴不一致を解消すること。
• 外観情報に加えて時空間的位置情報を統合することで、データアソシエーションを向上させること。
• より強固なアソシエーション学習を実現するため、トレーニングにおけるサンプル分布のバランスを取ること。
• オブジェクト間の相互作用を時系列にわたってモデル化するため、グラフニューラルネットワークを活用して特徴表現を向上させること。

提案手法

• 履歴オブジェクトの中心位置を現在フレームに予測するため、光流が用いられ、過去と現在のフレーム間の特徴アライメントが可能になる。
• 予測された位置からの特徴が抽出され、それらがグラフニューラルネットワークに供給され、オブジェクト間の関係性がモデル化される。
• グラフニューラルネットワークは外観情報と時空間的位置情報を統合し、オブジェクト特徴ベクトルをグローバルに更新する。
• トレーニング中に不均衡なサンプル分布に対処するため、バランスの取れた平均二乗誤差（MSE）損失が導入される。
• 統一されたグラフベースのフレームワークを用いて、特徴アライメントとアソシエーションの両方を同時に最適化する。
• トラッカーは二段階のプロセスを用いる：フローガイドド特徴アライメントの後、グラフベースの特徴精錬が行われる。

実験結果

リサーチクエスチョン

• RQ1 光流予測は、トラッキングにおける履歴フレームと現在フレームのオブジェクト表現間の特徴アライメントを向上させ得るか？
• RQ2 グラフネットワークに時空間的位置と外観情報を統合することで、データアソシエーションの正確性はどの程度向上するか？
• RQ3 バランスの取れた損失関数は、マルチオブジェクトトラッキングにおけるトレーニングの安定性と性能をどの程度向上させるか？
• RQ4 標準ベンチマーク上で、FairMOT や CenterTrack といった最先端手法と比較して、FGAGT はどの程度の性能を示すか？
• RQ5 グラフベースのアプローチは、追跡対象オブジェクト間の長距離依存関係と相互作用を効果的にモデル化できるか？

主な発見

• FGAGTはMOT17データセットでMOTAスコア68.4を達成し、FairMOTを2.5ポイント上回り、CenterTrackを8.4ポイント上回った。
• MOT16データセットでは、FairMOTを1.6 MOTAポイント上回り、一貫した性能向上が確認された。
• フローガイドド特徴アライメントの使用により、特に外観変化に強い特徴の一貫性が顕著に向上した。
• バランスの取れたMSE損失は、トレーニングデータのクラス不均衡を効果的に緩和し、より安定的かつ正確なアソシエーション予測を実現した。
• グラフニューラルネットワーク部は、長距離依存関係を効果的に捉え、時系列にわたる特徴表現を向上させた。
• 本手法は、オクルージョンや視点変化を含む多様なトラッキングシナリオにおいて、優れた一般化性能を示した。