[論文レビュー] Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking

Alan Lukežič, Ziga Trojer+2 more|arXiv (Cornell University)|Oct 7, 2022

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本稿では、104,343枚の画像と詳細なアノテーションを含む2,000以上のシーケンスを有する、透明物体追跡のための最初の大規模な学習データセットであるTrans2kを紹介する。現代のレンダラーを活用して、多様な視覚的特徴を持つリアルな透明物体シーケンスを生成することで、TOTBベンチマーク上での複数のディープラーニングトラッカーにおいて一貫して16%の性能向上を実証した。これは、ドメイン特化データで訓練された場合、ディープバックボーンが浅いものよりも優れるということを示している。

ABSTRACT

Visual object tracking has focused predominantly on opaque objects, while transparent object tracking received very little attention. Motivated by the uniqueness of transparent objects in that their appearance is directly affected by the background, the first dedicated evaluation dataset has emerged recently. We contribute to this effort by proposing the first transparent object tracking training dataset Trans2k that consists of over 2k sequences with 104,343 images overall, annotated by bounding boxes and segmentation masks. Noting that transparent objects can be realistically rendered by modern renderers, we quantify domain-specific attributes and render the dataset containing visual attributes and tracking situations not covered in the existing object training datasets. We observe a consistent performance boost (up to 16%) across a diverse set of modern tracking architectures when trained using Trans2k, and show insights not previously possible due to the lack of appropriate training sets. The dataset and the rendering engine will be publicly released to unlock the power of modern learning-based trackers and foster new designs in transparent object tracking.

研究の動機と目的

• 透明物体追跡のための専用で高品質な学習データセットの不足が、ディープラーニングベースの手法の進展を妨えているという問題に対処すること。
• 透明物体追跡におけるディープバックボーンの性能不足が、ドメインシフトに起因するのか、それとも本質的なアーキテクチャ的制限に起因するのかを調査すること。
• 視覚的特徴と追跡の課題を精確に制御できるように、多様でリアルな透明物体シーケンスを生成するレンダリングパイプラインを開発すること。
• ドメイン特化データで訓練することで、ディープトラッカーが透明物体の追跡において浅いものよりも優れるようになることを検証し、従来の結果を逆転させること。
• 今後の透明物体追跡分野の研究を促進するために、Trans2kデータセットとカスタマイズ可能なレンダリングエンジンを公開すること。

提案手法

• 透明物体に特有で、既存のデータセットに不足している視覚的特徴や追跡シナリオを特定するための特別なプロトコルを設計した。
• レンダリングエンジンを用いて、透明度、反射性、背景との相互作用、物体の運動を精確に制御した2,000以上の動画シーケンスを生成した。
• すべてのシーケンスにバウンディングボックスおよびインスタンスセグメンテーションのアノテーションを含め、アノテーションバイアスを最小限に抑えた。
• 複数の学習設定を評価した：Trans2k単体、不透明物体データ（OTD）単体、Trans2k+OTDの組み合わせ、およびスクラッチからの学習。
• 最先端のディープラーニングトラッカー（DiMPおよびSiamBAN）をこれらの設定で再訓練し、TOTBベンチマークで評価した。
• アーキテクチャ、バックボーン、学習手法の違いを分析することで、ドメイン特化データの影響を明確に分離した。

実験結果

リサーチクエスチョン

• RQ1 透明物体のためのドメイン特化データセットでトレーニングした場合、一般的な不透明物体データセットを使用する場合と比較して、ディープラーニングトラッカーの性能が向上するか？
• RQ2 透明物体におけるディープバックボーンの性能不足は、適切なトレーニングデータの欠如によるものか、それとも本質的なアーキテクチャ的制限によるものか？
• RQ3 リアルで属性制御可能なレンダリングにより、透明物体の追跡ベンチマークで顕著な性能向上を達成できるか？
• RQ4 最適なトレーニング戦略は何か？透明物体データのみ、不透明物体データのみ、または両方の組み合わせか？
• RQ5 トランスフォーマー（例：transformers）のようなネットワークアーキテクチャは、ドメイン特化データを活用した将来的な透明物体追跡において、最も有望な方向性を示しているか？

主な発見

• Trans2k単体でトレーニングした場合、TOTBベンチマーク上で16%の性能向上が達成され、このデータセットの有効性が裏付けられた。
• Trans2kでトレーニングした場合、ディープバックボーンが透明物体追跡において浅いバックボーンを上回る性能を示した。これは、従来のアーキテクチャ的制限による性能不足という説を覆すものである。
• Trans2kと不透明物体トレーニングデータ（OTD）を組み合わせた学習が最も優れた性能を示し、DiMPでは0.699、SiamBANでは0.680のスコアを達成した。
• ImageNetで事前学習し、その後Trans2kでファインチューニングすることで、スクラッチからの学習に比べて性能が著しく向上した。特にSiamBANのようなパラメータが多いモデルで顕著であった。
• トランスフォーマーが最も有望なアーキテクチャとして浮上した。今後の改善は、透明物体の複雑な視覚的ダイナミクスをモデル化することに注力すべきである。
• このデータセットにより、一般化性能が向上し、不透明物体追跡でもわずかな性能低下にとどまった。これは、強力な転移性を示している。