[論文レビュー] Fine-Grained Object Classification via Self-Supervised Pose Alignment

Xuhui Yang, Yaowei Wang+3 more|arXiv (Cornell University)|Mar 30, 2022

3D Surveying and Cultural Heritage被引用数 7

ひとこと要約

本稿では、自己教師ありなポーズ不変オブジェクト表現を、非教師ありグラフマッチングによる局所的部分のアライメントによって学習する、P2P-Netを提案する。部分ベースの特徴正則化とカリキュラム学習を統合することで、CUB、Stanford Cars、Aircraftデータセットで最先端の性能を達成し、特徴の凝縮性とポーズ変化に対するロバスト性が向上した。

ABSTRACT

Semantic patterns of fine-grained objects are determined by subtle appearance difference of local parts, which thus inspires a number of part-based methods. However, due to uncontrollable object poses in images, distinctive details carried by local regions can be spatially distributed or even self-occluded, leading to a large variation on object representation. For discounting pose variations, this paper proposes to learn a novel graph based object representation to reveal a global configuration of local parts for self-supervised pose alignment across classes, which is employed as an auxiliary feature regularization on a deep representation learning network.Moreover, a coarse-to-fine supervision together with the proposed pose-insensitive constraint on shallow-to-deep sub-networks encourages discriminative features in a curriculum learning manner. We evaluate our method on three popular fine-grained object classification benchmarks, consistently achieving the state-of-the-art performance. Source codes are available at https://github.com/yangxh11/P2P-Net.

研究の動機と目的

• オブジェクトのポーズ変動が特徴の一貫性とモデルの汎化性能を低下させるという課題に対処すること。
• オブジェクトのポーズ変化によって引き起こされるクラス内分散を低減させつつ、判別的な局所的部分の詳細を保持すること。
• 部分やポーズのアノテーションを必要とせず、アノテーションフリーの自己教師あり手法として、画像間での局所的部分をアライメントすること。
• 推論時に削除可能な新しい特徴正則化方式を導入することで、表現の判別性を向上させ、効率性を確保すること。
• ラベルスムージングと浅い段階から深い段階への順次的监督を用いたカリキュラム学習戦略を導入し、段階的に判別的な特徴を学習すること。

提案手法

• 特徴ピラミッドネットワーク（FPN）にインspiredされたアーキテクチャを用いて、弱教師ありな方法で顕著な局所領域を検出する非教師ありな部分からポーズ（P2P）ネットワークを提案する。
• グローバル画像特徴と局所的部分特徴の分布差を最小化するための対照的損失を適用し、視点間での特徴の一貫性を強制する。
• 幾何的配置に基づいて、画像間の検出された局所的部分をアライメントするための適応的グラフマッチングアルゴリズムを設計し、ポーズ不変表現学習を可能にする。
• 部分ベースの特徴正則化を訓練時のみのモジュールとして統合し、推論時には削除可能にすることで効率性を確保する。
• ラベルスムージングを用いて、浅い部分ネットワークと深い部分ネットワークの両方で、易しめから難しめへの訓練信号を生成する、粗いから細かい順序の監督戦略を実装する。
• 局所的部分特徴が対照的学習を通じてグローバル表現に一致するように正則化する、二重ストリーム特徴正則化メカニズムを活用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありな部分アライメントは、細粒度分類におけるオブジェクトポーズ変動によって引き起こされるクラス内分散を低減できるか？
• RQ2 部分やポーズのアノテーションなしに、非教師ありグラフベースの部分マッチングは、特徴の一貫性を向上させるのにどの程度有効か？
• RQ3 ラベルスムージングを用いたカリキュラム学習は、細粒度認識のための深層ネットワークにおける特徴の判別性をどの程度向上させるか？
• RQ4 推論時のオーバーヘッドを負担せずに、部分ベースの特徴正則化方式を適用できるか？
• RQ5 標準ベンチマークにおいて、提案手法は最先端モデルと比較して、正確性と表現の凝縮性の両面で優れているか？

主な発見

• P2P-Netは3つのベンチマークで最先端の性能を達成した：CUB-200-2011で90.2%のトップ1正解率、Stanford Carsで95.8%、FGVC-Aircraftで92.1%。
• CUBでは、学習された表現の平均RMSEを0.213まで低下させ、比較対象のすべての手法の中で最低水準となり、特徴の凝縮性が向上していることを示している。
• アブレーションスタディにより、非教師あり部分アライメント（UPA）が顕著に性能向上をもたらすことが確認され、RMSEはベースライン＋正則化（baseline+FR）の0.268から、ベースライン＋正則化＋UPA（baseline+FR+UPA）の0.213に低下した。
• 可視化結果から、P2P-Netは判別的な部分（例：鳥の頭部／体、車のフロント／ボディ）に注目し、背景の活性化を抑制しており、関連領域への注視が向上している。
• t-SNEプロットでは、特徴正則化を適用した後、クラス内クラスタリングがより緊密になり、クラス間マージンが拡大していることが示された。
• CUBではN=4の判別的部分を用いた場合に最適な性能が得られ、正解率は90.2%でピークに達したが、Nをさらに大きくしても結果に改善は見られなかった。