[論文レビュー] Incorporating Intra-Class Variance to Fine-Grained Visual Recognition

Yan Bai, Feng Gao+4 more|arXiv (Cornell University)|Mar 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 12被引用数 7

ひとこと要約

本論文は、グループに敏感なトリプレットサンプリング（GS-TRS）を提案し、グループに応じたサンプリングを用いてトリプレット損失内でのクラス内ばらつきをモデル化することで、細粒度視覚認識を向上させる。各カテゴリ内の画像をグループにクラスタリングし、グループ内類似度をトリプレット損失に組み込むことで、特徴表現を向上させ、CompCarおよびVehicleIDデータセットで再識別において最大30%のmAP向上、リtrievalのトップ500で5%以上の精度向上を達成した。

ABSTRACT

Fine-grained visual recognition aims to capture discriminative characteristics amongst visually similar categories. The state-of-the-art research work has significantly improved the fine-grained recognition performance by deep metric learning using triplet network. However, the impact of intra-category variance on the performance of recognition and robust feature representation has not been well studied. In this paper, we propose to leverage intra-class variance in metric learning of triplet network to improve the performance of fine-grained recognition. Through partitioning training images within each category into a few groups, we form the triplet samples across different categories as well as different groups, which is called Group Sensitive TRiplet Sampling (GS-TRS). Accordingly, the triplet loss function is strengthened by incorporating intra-class variance with GS-TRS, which may contribute to the optimization objective of triplet network. Extensive experiments over benchmark datasets CompCar and VehicleID show that the proposed GS-TRS has significantly outperformed state-of-the-art approaches in both classification and retrieval tasks.

研究の動機と目的

• 細粒度視覚認識における高いクラス内ばらつきが特徴表現と認識性能を低下させることに起因する課題に対処すること。
• 従来のクラス間対照学習を超えて、クラス内構造を明示的にモデル化することで、トリプレットネットワークの学習を改善すること。
• ソフトマックス損失とトリプレット損失の共同最適化を通じて、分類とリtrievalの両方の性能を向上させること。
• クラスタリングに基づく中レベル表現を用いて、クラス内不変性とばらつきを捉えるグループ化戦略を開発すること。
• クラス内グループからの平均値アーキテクチャが、トリプレット埋め込み品質をさらに向上させることを示すこと。

提案手法

• グループに敏感なトリプレットサンプリング（GS-TRS）は、クラスタリングを用いて各カテゴリ内のトレーニング画像を複数のグループに分割し、クラス内ばらつきをモデル化する。
• トリプレットは異なるカテゴリだけでなく、同じカテゴリ内の異なるグループ間でも形成され、クラス内構造の学習が可能になる。
• GS-TRS損失関数は、標準的なトリプレット損失を拡張したもので、同じグループ内のサンプル間で埋め込み距離を近づけるように制約を課すことで、クラス内不変性をモデル化する。
• 特徴の識別性を向上させるために、ソフトマックス分類損失とGS-TRSトリプレット損失を共同で最適化する。
• 複数のグループ内での平均値アーキテクチャを、正例の参照として用いることで、埋め込み学習の安定化と向上を図る。
• 本手法は、画像リtrievalおよび分類タスクの両方において、CompCarおよびVehicleIDというベンチマークデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 グループ単位のサンプリングによるクラス内ばらつきのモデル化が、細粒度視覚認識におけるトリプレットネットワーク性能を向上させるか？
• RQ2 GS-TRSによるクラス内構造の組み込みが、リtrievalおよび分類における特徴表現品質にどのように影響するか？
• RQ3 複数のクラス内グループからの平均値アーキテクチャを用いることで、さらにトリプレット埋め込みのロバスト性と正確性が向上するか？
• RQ4 mAPおよびリtrievalのトップ-Kにおける精度という観点から、GS-TRSは最先端手法と比較してどの程度優れているか？
• RQ5 クラス内ばらつきのモデル化は、視点、ポーズ、照明の変化による悪影響をどの程度軽減するか？

主な発見

• 平均値アーキテクチャを用いたGS-TRSは、VehicleIDの小規模テストセットで74.6%のmAPを達成し、大規模セットでは前例となるMixed Diff+CCLを30%上回った。
• CompCarsのリtrievalタスクでは、平均アーキテクチャを用いたGS-TRSがトップ500で39.3%のmAPを達成し、ベースラインのトリプレット損失より5.6%向上した。
• 分類タスクでは、平均アーキテクチャを用いたGS-TRSが79.85%の精度を達成し、ベースラインのソフトマックス損失より1.6%向上し、分類に与える利点を示した。
• VehicleIDの大規模セットでは、Top-1一致率がGS-TRSで73.2%に達し、Mixed Diff+CCLを30%上回った。
• 図5のCMC曲線は、Top 1からTop 50にかけて一貫した顕著な向上を示しており、リtrieval順位全体にわたるロバスト性を確認した。
• アブレーションスタディの結果、平均値アーキテクチャの使用によりmAPがさらに2%向上し、クラス内表現の安定化に有効であることを裏付けた。