[論文レビュー] SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization

Hongbo Sun, Xiangteng He+1 more|arXiv (Cornell University)|Aug 31, 2022

Advanced Image and Video Retrieval Techniques被引用数 9

ひとこと要約

本稿では、構造情報学習（SIL）モジュールとマルチレベル特徴ブースティング（MFB）を用いてオブジェクト構造をモデル化することで、細分化視覚分類を向上させるビジョントランスフォーマー基盤のフレームワーク、SIM-Transを提案する。SILモジュールは、ビジョントランスフォーマーの自己注意重みを活用して、識別的パッチ間の空間的関係を捉える。一方、MFBはマルチレベル特徴と対照的学習を統合し、特徴のロバスト性を向上させる。CUB-200-2011およびiNaturalist 2017ベンチマークで最先端の性能を達成した。

ABSTRACT

Fine-grained visual categorization (FGVC) aims at recognizing objects from similar subordinate categories, which is challenging and practical for human's accurate automatic recognition needs. Most FGVC approaches focus on the attention mechanism research for discriminative regions mining while neglecting their interdependencies and composed holistic object structure, which are essential for model's discriminative information localization and understanding ability. To address the above limitations, we propose the Structure Information Modeling Transformer (SIM-Trans) to incorporate object structure information into transformer for enhancing discriminative representation learning to contain both the appearance information and structure information. Specifically, we encode the image into a sequence of patch tokens and build a strong vision transformer framework with two well-designed modules: (i) the structure information learning (SIL) module is proposed to mine the spatial context relation of significant patches within the object extent with the help of the transformer's self-attention weights, which is further injected into the model for importing structure information; (ii) the multi-level feature boosting (MFB) module is introduced to exploit the complementary of multi-level features and contrastive learning among classes to enhance feature robustness for accurate recognition. The proposed two modules are light-weighted and can be plugged into any transformer network and trained end-to-end easily, which only depends on the attention weights that come with the vision transformer itself. Extensive experiments and analyses demonstrate that the proposed SIM-Trans achieves state-of-the-art performance on fine-grained visual categorization benchmarks. The code is available at https://github.com/PKU-ICST-MIPL/SIM-Trans_ACMMM2022.

研究の動機と目的

• 既存の細分化視覚分類手法が、識別的領域同士の相関関係やオブジェクト全体の構造を無視しているという限界を是正すること。
• 外観と構造的情報をビジョントランスフォーマーに統合することで、識別的表現学習を向上させること。
• 追加のアノテーションを必要とせず、特徴の局所化とロバスト性を向上させる軽量でプラグイン可能なモジュールを開発すること。
• iNaturalist 2017（95,000枚以上のテスト画像を含む）を含む大規模・細分化ベンチマークで最先端の性能を達成すること。

提案手法

• 構造情報学習（SIL）モジュールは、ビジョントランスフォーマーの自己注意重みを用いて、オブジェクト内に存在する顕著なパッチ間の空間的文脈的関係を抽出し、モデルに構造的認識を統合する。
• SILモジュールはトランスフォーマーの複数の層に適用され、3層に挿入した際に最良の性能が得られ、空間的推論および識別的領域への注目を向上させる。
• マルチレベル特徴ブースティング（MFB）モジュールは、異なるトランスフォーマー層の特徴を統合することで、補完的表現を活用し、ロバスト性を向上させる。
• MFBは、学習可能な温度ハイパーパrameter α を用いた対照的学習を組み込み、ハードネガティブサンプルを強調することで特徴の識別性を向上させる。
• 2つのモジュールとも軽量であり、トランスフォーマーのアーキテクチャに簡単に統合可能で、モデルのエンドツーエンド学習に必要なのはトランスフォーマーに内蔵された注意重みのみである。
• モデルはクロスエントロピー損失と対照的損失の両方を用いてエンドツーエンドで学習され、分類と特徴表現の共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 細分化視覚分類の文脈で、ビジョントランスフォーマーにオブジェクト構造情報を効果的にモデル化する方法は何か？
• RQ2 追加の教師信号を用いずに、自己注意重みを活用して識別的パッチ間の空間的依存関係を捉えることは可能か？
• RQ3 マルチレベル特徴統合に加え対照的学習を組み合わせることで、細分化認識における特徴のロバスト性と分類精度が向上するか？
• RQ4 ビジョントランスフォーマーに構造認識モジュールを挿入する最適な深さと構成は何か？
• RQ5 注意重みのみに依存するプラグインモジュールが、大規模な細分化ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたSIM-Transは、CUB-200-2011ベンチマークでトップ-1精度91.8%を達成し、ベースラインを1.2ポイント上回った。
• 構造情報学習（SIL）モジュール単体でも、ベースライン比0.5%の精度向上を示し、構造的認識の向上効果を実証した。
• 対照的学習を組み込んだMFBモジュールを追加することで、さらに0.4%の精度向上が達成され、ハードネガティブサンプルの強調と特徴の識別性向上の有効性が示された。
• アブレーションスタディの結果、SILを3つのトランスフォーマー層に挿入した場合が最良の性能を示し、受容 field と局所化精度の最適なトレードオフが達成された。
• 95,000枚以上のテスト画像と5,000以上のカテゴリを含む大規模なiNaturalist 2017ベンチマークでも、SIM-Transは最先端の性能を達成し、スケーラビリティと一般化能力の有効性を確認した。
• ハイパーパrameter分析から、MFBモジュールにおけるα = 0.3が最良の性能を示した。これは、値が高くなると容易なネガティブサンプルが対照的学習に含まれ、性能が低下するためである。