[論文レビュー] Align Yourself: Self-supervised Pre-training for Fine-grained Recognition via Saliency Alignment.

Di Wu, Siyuan Li+6 more|arXiv (Cornell University)|Jun 30, 2021

Visual Attention and Saliency Detection参考文献 51被引用数 5

ひとこと要約

本稿では、アテンション領域のクロップと入れ替えによるビュー生成を通じて、特徴量を異なるビュー間で整列させる自己教師付き対照学習フレームワーク、Cross-view Saliency Alignment (CVSA) を提案する。この手法により、微細な認識性能が向上し、判別性の高いテクスチャと空間的局在化の両方を同時に最適化することで、4つの微細分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Self-supervised contrastive learning has demonstrated great potential in learning visual representations. Despite their success on various downstream tasks such as image classification and object detection, self-supervised pre-training for fine-grained scenarios is not fully explored. In this paper, we first point out that current contrastive methods are prone to memorizing background/foreground texture and therefore have a limitation in localizing the foreground object. Analysis suggests that learning to extract discriminative texture information and localization are equally crucial for self-supervised pre-training under fine-grained scenarios. Based on our findings, we introduce Cross-view Saliency Alignment (CVSA), a contrastive learning framework that first crops and swaps saliency regions of images as a novel view generation and then guides the model to localize on the foreground object via a cross-view alignment loss. Extensive experiments on four popular fine-grained classification benchmarks show that CVSA significantly improves the learned representation.

研究の動機と目的

• 現在の対照学習手法が、背景や前面のテクスチャを記憶してしまう傾向に起因する微細分類認識における限界を是正すること。
• 自己教師付き事前学習において、判別性の高いテクスチャ特徴量と正確な前面局在化の両方の重要性を調査すること。
• 微細分類の表現学習を向上させるために、アテンション領域に基づく新しいビュー生成戦略を提案すること。
• 同一インスタンスの異なるビュー間で、オブジェクトの前面に注目するよう促進する、クロスビュー整列損失を設計すること。

提案手法

• 本手法は、異なる画像からアテンション領域をクロップし、入れ替えることで対照的なビューを生成する、新しいビュー生成技術を導入する。
• アテンションマップを用いて、最も判別性の高いオブジェクト領域を特定・抽出することで、モデルが前面に注目するよう学習される。
• 同じインスタンスの異なるビュー間の特徴量を整列させるためのクロスビュー整列損失を設計し、耐障害性の高い局在化を促進する。
• この損失を対照学習の目的関数に統合し、インスタンス識別と空間的注目度の両方を同時に最適化する。
• ボクシングボックスやクラスラベルを一切必要とせず、画像レベルの対照信号に基づいて自己教師付きで事前学習を行う。
• 最終的な表現は、標準的な線形プローブまたはエンドツーエンドの微調整を用いて、下流の微細分類タスクでファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 現在の対照学習手法は、なぜ微細分類認識においてテクスチャ記憶の問題を抱えるのか？
• RQ2 アテンションに基づくビュー拡張は、自己教師付き事前学習における局在化精度と表現品質をどの程度向上させるのか？
• RQ3 標準的なデータ拡張と比較して、アテンション領域のクロスビュー整列は、微細分類ベンチマークにおける一般化性能を向上させるか？
• RQ4 自己教師付き微細分類表現学習において、テクスチャ識別と空間的局在化の相対的寄与度は何か？

主な発見

• CVSAは4つの微細画像分類ベンチマークで最先端の性能を達成し、既存の自己教師付き手法を上回る。
• アブレーションスタディの結果、アテンションに基づくビュー生成とクロスビュー整列の両方が、性能向上に不可欠であることが確認された。
• モデルはビュー間で一貫して前面オブジェクトに注目するよう学習され、誤ったテクスチャ依存性が低減した。
• 長尾分布や類似度の高い微細カテゴリにおいて、ベースラインの対照学習手法に比べて顕著な性能向上が見られた。
• 異なるバックボーンアーキテクチャにおいても性能向上が一貫しており、本手法の一般化能力が裏付けられた。
• テクスチャ識別と局在化の共同最適化が、微細な状況下でより頑健な表現を生み出すことが実証された。