[論文レビュー] Quality Matters: Embracing Quality Clues for Robust 3D Multi-Object Tracking

Jinrong Yang, En Yu+3 more|arXiv (Cornell University)|Aug 23, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文では、位置および速度予測のための学習済み品質スコアを活用して関連付けの信頼性を向上させることで、トラッキング性能を向上させる、頑健な3次元マルチオブジェクトトラッキングフレームワークQTrackを提案する。予測の信頼性を評価するための正規化ガウス品質（NGQ）メトリクスを用いることで、nuScenes検証セットで48.0% AMOTA、テストセットで51.1%を達成し、すべての先行SOTA手法を大きく上回る性能を発揮する。

ABSTRACT

3D Multi-Object Tracking (MOT) has achieved tremendous achievement thanks to the rapid development of 3D object detection and 2D MOT. Recent advanced works generally employ a series of object attributes, e.g., position, size, velocity, and appearance, to provide the clues for the association in 3D MOT. However, these cues may not be reliable due to some visual noise, such as occlusion and blur, leading to tracking performance bottleneck. To reveal the dilemma, we conduct extensive empirical analysis to expose the key bottleneck of each clue and how they correlate with each other. The analysis results motivate us to efficiently absorb the merits among all cues, and adaptively produce an optimal tacking manner. Specifically, we present Location and Velocity Quality Learning, which efficiently guides the network to estimate the quality of predicted object attributes. Based on these quality estimations, we propose a quality-aware object association (QOA) strategy to leverage the quality score as an important reference factor for achieving robust association. Despite its simplicity, extensive experiments indicate that the proposed strategy significantly boosts tracking performance by 2.2% AMOTA and our method outperforms all existing state-of-the-art works on nuScenes by a large margin. Moreover, QTrack achieves 48.0% and 51.1% AMOTA tracking performance on the nuScenes validation and test sets, which significantly reduces the performance gap between pure camera and LiDAR based trackers.

研究の動機と目的

• 遮蔽、ぼやけ、ずれのある予測といった信頼性の低いトラッキングケイスが3次元マルチオブジェクトトラッキングの性能に与えるボトルネックを解消すること。
• 特に困難な視覚条件下で、3次元検出器における位置と速度の予測品質の不均衡およびずれを分析すること。
• 学習済み品質スコアに基づいて、低品質な運動および位置候補を動的にフィルタリングする品質認識型関連付け機構を開発すること。
• ベース検出器の性能を損なわせることなく、軽量でエンドツーエンドでトレーニング可能なトラッキング・バイ・検出フレームワークに品質推定を統合すること。
• カメラオンリーとLiDARベースの3次元MOTシステム間の性能格差を縮小し、視覚ノイズに対してより頑健になるようにすること。

提案手法

• 位置および速度予測における2次元ベクトル誤差を統合的にモデル化することで、予測信頼性を定量化する正規化ガウス品質（NGQ）メトリクスを導入する。
• ベース3次元検出器から位置および速度のNGQスコアを予測する品質学習ヘッドを設計し、トラッキングケイスの自己診断を可能にする。
• 速度品質を用いて信頼性の低い運動候補をフィルタリングし、位置品質を用いて正確に推定されていない位置を除外する品質認識型オブジェクト関連付け（QOA）戦略を提案する。
• 分類信頼度と品質スコアが共同で関連付けをガイドするトラッキング・バイ・検出パイプラインにQOAを統合し、品質スコアが候補選択を洗練化する第二のゲートとして機能する。
• アブレーションスタディで妥当化されたように、検出性能を損なわない軽量な品質ブランチを用いて、ネットワーク全体をエンドツーエンドでトレーニングする。
• ハイパーパramータ制御されたメトリクスを用いて、NMSにおける分類信頼度と速度品質の重み付き融合により、局所化と速度品質のトレードオフをバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 遮蔽、運動ぼやけ、照明変動は、カメラベース3次元MOTにおける3次元オブジェクト位置および速度予測の信頼性にどのように影響するか？
• RQ2 位置と速度予測品質の不均衡はどの程度顕著であり、その不均衡は関連付け性能にどのように影響するか？
• RQ3 統合的品質推定メカニズムにより、低信頼度および低品質な予測をフィルタリングすることで、トラッキングの頑健性が向上するか？
• RQ4 関連付けに学習済み品質スコアを第二のゲートとして組み込むことで、検出性能を損なわずにもかかわらずトラッキング精度が向上するか？
• RQ5 品質認識型フレームワークにより、カメラオンリーとLiDARベースの3次元MOTシステム間の性能格差を縮小できるか？

主な発見

• 提案されたQTrackは、nuScenes検証セットで48.0% AMOTA、テストセットで51.1%を達成し、すべての既存SOTA手法を大きく上回る。
• ベースラインCVフレームワーク比で2.2%のAMOTA向上を達成し、品質認識型関連付けの有効性を示した。
• 品質予測ブランチはベース検出器性能を損なわず、アブレーションスタディにおいてmAPおよびNDSが安定したまま維持された。
• QOAで位置品質または速度品質のいずれか一方のみをフィルタとして使用すると性能が低下し、両方の品質スコアを併用する必要性を確認した。
• 重み付きメトリクス（M = V^(1−α)·C^α）を用いてNMSに速度品質を統合した結果、局所化誤差と速度誤差のトレードオフが明確に現れ、両者の品質に不均衡があることを裏付けた。
• 外観ブランチを追加して埋め込み抽出を行うと、1.0%のトラッキング性能低下を引き起こした。これは、提案された品質ベースのアプローチの効率性と優位性を強調している。