[論文レビュー] Multiview Detection with Shadow Transformer (and View-Coherent Data Augmentation)

Yunzhong Hou, Liang Zheng|arXiv (Cornell University)|Aug 12, 2021

Video Surveillance and Tracking Methods参考文献 43被引用数 4

ひとこと要約

本論文では、投影による視点固有の歪みに対処するため、複数のカメラ視点間で特徴を能動的に統合する新しいシャドウトランスフォーマーを用いたマルチビュー物体検出システムMVDeTrを提案する。本手法は、トレーニング中にマルチビューの一貫性を保つためのビュー一貫性のあるデータ拡張を導入し、WildtrackおよびMultiviewXベンチマークで最先端の性能を達成している。

ABSTRACT

Multiview detection incorporates multiple camera views to deal with occlusions, and its central problem is multiview aggregation. Given feature map projections from multiple views onto a common ground plane, the state-of-the-art method addresses this problem via convolution, which applies the same calculation regardless of object locations. However, such translation-invariant behaviors might not be the best choice, as object features undergo various projection distortions according to their positions and cameras. In this paper, we propose a novel multiview detector, MVDeTr, that adopts a newly introduced shadow transformer to aggregate multiview information. Unlike convolutions, shadow transformer attends differently at different positions and cameras to deal with various shadow-like distortions. We propose an effective training scheme that includes a new view-coherent data augmentation method, which applies random augmentations while maintaining multiview consistency. On two multiview detection benchmarks, we report new state-of-the-art accuracy with the proposed system. Code is available at https://github.com/hou-yz/MVDeTr.

研究の動機と目的

• 畳み込みベースのマルチビュー特徴統合には、投影歪みの程度が異なるにもかかわらずすべての位置を均等に扱うという限界があるため、それを是正すること。
• 空間的位置とカメラ視点の両方を認識する学習可能なアテンションメカニズムを設計し、投影された特徴マップにおけるシャドウ型歪みをより効果的に処理すること。
• ランダム変換を適用しながらもマルチビューの一貫性を保つデータ拡張戦略を開発し、効果的なトレーニングを可能にすること。
• 統一された検出ヘッドを通じた統合マルチビュー監視を活用して、遮蔽状況における検出精度を向上させること。
• ビュー一貫性のある拡張と各視点ごとの監視の有効性を検証し、一般化性能の向上と過学習の低減を実現すること。

提案手法

• コアアーキテクチャは、共有された地面平面位置埋め込みと学習可能なカメラ埋め込みを用いて、複数のカメラ視点と位置を同時に注目するシャドウトランスフォーマーである。
• シャドウトランスフォーマーは、複数の視点からの投影特徴マップを処理し、平行移動不変性を欠くものの、視点および位置に配慮した特徴統合を実現する。
• 新たなビュー一貫性のあるデータ拡張戦略により、各視点に異なるランダムアフィン変換を適用しつつ、投影前に変換を逆転させることでマルチビューの一貫性を維持する。
• 拡張処理中に一貫性を保ち、トレーニングの安定性を向上させるために、調整済みの真値を用いた各視点ごとの監視を導入する。
• 検出ヘッドは、地面平面に直接オブジェクトの位置とボクセルボックスを予測する全結合層であり、オフセットとボクセルボックス回帰の補助損失を備える。
• トレーニングパイプラインは、標準的な検出損失（例：RetinaNetからのもの）と、視点固有の監視、および提案された拡張スキームを統合する。

実験結果

リサーチクエスチョン

• RQ1 空間的位置とカメラ視点の両方に配慮した自己アテンションメカニズムは、平行移動不変性を持つ畳み込みよりも、マルチビュー特徴統合において優れた性能を発揮できるか？
• RQ2 ビュー一貫性のあるデータ拡張は、マルチビュー一貫性を損なわず、マルチビュー検出における一般化性能を向上させることができるか？
• RQ3 各視点ごとの監視と補助損失は、マルチビュー設定における検出性能にどのように影響を与えるか？
• RQ4 オフセットとボクセルボックス回帰損失は、マルチビューシステムにおける検出精度の向上にどの程度寄与するか？
• RQ5 トランスフォーマーに基づくアーキテクチャは、投影歪みに対処しつつも、マルチビュー検出ベンチマークで最先端の性能を達成できるか？

主な発見

• MVDeTrは、WildtrackおよびMultiviewXベンチマークの両方で、前回の最先端手法MVDetと比較してMODAが1.7%および0.7%向上し、新たな最先端性能を達成した。
• ビュー一貫性のあるデータ拡張を削除すると、WildtrackとMultiviewXでそれぞれ2.0%および0.6%のMODA低下が生じ、その重要性が示された。
• 各視点ごとの監視を削除すると、WildtrackとMultiviewXでそれぞれ1.6%および1.1%のMODA低下が生じ、過学習の低減と一般化性能の向上に有効であることが示された。
• オフセット損失はMultiviewXにおいてより重要であり（削除時に0.6%のMODA低下）、密な歩行者配置とNMSに起因する誤検出の影響が大きいと考えられる。
• ボクセルボックス回帰損失は両ベンチマークに同等の貢献を示し、削除すると0.5%のMODA低下が生じ、正確な局所化に価値があることが示された。
• マルチビュー可変アテンションを標準可変アテンションに置き換えると、WildtrackとMultiviewXでそれぞれ1.7%および0.7%の性能低下が生じ、提案されたアテンションメカニズムの優位性が裏付けられた。