[論文レビュー] Multi-Attention-Based Soft Partition Network for Vehicle Re-Identification

Sangrok Lee, Taekang Woo+1 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、複数のソフト空間的およびチャネル別アテンション機構を用いて、ノイズを低減しながら判別性の高い車両領域を強調する、マルチ・アテンションベースのソフトパーティショニング（MUSP）ネットワークを提案する。メタデータやパーツアノテーションを必要とせず、VehicleIDおよびVERI-Wildで最先端の性能を達成し、クロスドメイン設定では他のアテンションベースの手法よりも最大6%優れている。

ABSTRACT

Vehicle re-identification helps in distinguishing between images of the same and other vehicles. It is a challenging process because of significant intra-instance differences between identical vehicles from different views and subtle inter-instance differences between similar vehicles. To solve this issue, researchers have extracted view-aware or part-specific features via spatial attention mechanisms, which usually result in noisy attention maps or otherwise require expensive additional annotation for metadata, such as key points, to improve the quality. Meanwhile, based on the researchers' insights, various handcrafted multi-attention architectures for specific viewpoints or vehicle parts have been proposed. However, this approach does not guarantee that the number and nature of attention branches will be optimal for real-world re-identification tasks. To address these problems, we proposed a new vehicle re-identification network based on a multiple soft attention mechanism for capturing various discriminative regions from different viewpoints more efficiently. Furthermore, this model can significantly reduce the noise in spatial attention maps by devising a new method for creating an attention map for insignificant regions and then excluding it from generating the final result. We also combined a channel-wise attention mechanism with a spatial attention mechanism for the efficient selection of important semantic attributes for vehicle re-identification. Our experiments showed that our proposed model achieved a state-of-the-art performance among the attention-based methods without metadata and was comparable to the approaches using metadata for the VehicleID and VERI-Wild datasets.

研究の動機と目的

• 車両再識別におけるインスタンス内変動（例：照明、視点）とインスタンス間類似性の課題に対処すること。
• アテンションベースのモデルで一般的に性能を低下させる、空間アテンションマップ内のノイズを低減すること。
• パーツレベルや視点別に特化したアノテーションの代わりに、エンドツーエンドで判別性の高い領域を学習することで、その必要性を排除すること。
• 空間的アテンションとチャネル別アテンションを組み合わせることで、より良い意味的選択を実現し、特徴表現を向上させること。
• メタデータを用いずに、未知の車両やドメインに対しても強力な一般化性能を達成すること。

提案手法

• 複数のソフトアテンション機構を採用し、アテンション重みを正規化するためのソフトマックスベースの活性化関数を用いて、空間的パーティショニングを改善する。
• ノイズ低減のための新規戦略として、最も活性化が低い（背景／無視できる）領域に対応するアテンションマップを破棄し、最終的な特徴表現におけるノイズを低減する。
• 空間アテンションとチャネル別アテンション（CBAMおよびSENetにインspired）を組み合わせ、重要な空間的領域と関連する特徴チャネルに同時に注目する。
• ソフトパーティショニングアプローチを採用し、アテンションマップがハードに割り当てられるのではなく、柔軟に分散されることで、多様な視点に対してもより頑健な特徴学習が可能になる。
• 本手法はバックボーンネットワークからの最終特徴マップにのみ適用されるが、今後の研究では中間層への拡張も検討される。
• アテンションマップが重複しない、異なる領域をカバーするよう促すために、空間的多様性損失を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 パーツ特化アノテーションに依存せずに、ソフトアテンション機構が空間アテンションマップ内のノイズを効果的に抑制できるか？
• RQ2 空間的アテンションとチャネル別アテンションを組み合わせることで、車両再識別における特徴の判別性がどのように向上するか？
• RQ3 マルチアテンションアーキテクチャは、メタデータを用いずに、未知の車両やドメインに対しても良好に一般化できるか？
• RQ4 提案されたノイズ低減戦略は、標準的なアテンション機構と比較して、測定可能な性能向上をもたらすか？
• RQ5 メタデータや後処理を用いる最先端の手法と比較して、本手法はどのように差をつけるか？

主な発見

• MUSPモデルは、VehicleIDおよびVERI-Wildデータセットにおいて、メタデータを必要としないアテンションベースの手法の中で最先端の性能を達成した。
• クロスドメインテストでは、ベースラインおよびPVENモデルと比較して、mAPでそれぞれ6%および2.5%優れており、強力な一般化性能を示した。
• ソフトマックスベースのアテンションは、シグモイドベースのアテンションと比較してmAPを0.8%向上させ、空間的パーティショニングにおいて優位性を確認した。
• 可視化結果から、モデルは未学習の車両や変化する視点に対しても、判別性の高い車両部品（例：ヘッドランプ、グリル）を的確に局所化できた。
• メタデータを用いる手法と同等の性能を達成したため、高価なアノテーションなしで高い精度を達成可能であることを証明した。
• アブレーションスタディにより、空間的およびチャネル別アテンションモジュールの両方が性能向上に顕著に寄与しており、ノイズ低減機構が誤発火の低減に重要な役割を果たしていることが確認された。