Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Fine-grained Visual Classification with High-temperature Refinement and Background Suppression

Po‐Yung Chou, Yu-Yung Kao|arXiv (Cornell University)|Mar 11, 2023
Video Surveillance and Tracking Methods被引用数 29
ひとこと要約

HERBS は Background Suppression モジュールと High-temperature Refinement モジュールを導入し、背景ノイズを剪定して多様なマルチスケール特徴を学習することで FGVC を改善し、CUB-200-2011 および NABirds で最先端の結果を達成します。

ABSTRACT

Fine-grained visual classification is a challenging task due to the high similarity between categories and distinct differences among data within one single category. To address the challenges, previous strategies have focused on localizing subtle discrepancies between categories and enhencing the discriminative features in them. However, the background also provides important information that can tell the model which features are unnecessary or even harmful for classification, and models that rely too heavily on subtle features may overlook global features and contextual information. In this paper, we propose a novel network called ``High-temperaturE Refinement and Background Suppression'' (HERBS), which consists of two modules, namely, the high-temperature refinement module and the background suppression module, for extracting discriminative features and suppressing background noise, respectively. The high-temperature refinement module allows the model to learn the appropriate feature scales by refining the features map at different scales and improving the learning of diverse features. And, the background suppression module first splits the features map into foreground and background using classification confidence scores and suppresses feature values in low-confidence areas while enhancing discriminative features. The experimental results show that the proposed HERBS effectively fuses features of varying scales, suppresses background noise, discriminative features at appropriate scales for fine-grained visual classification.The proposed method achieves state-of-the-art performance on the CUB-200-2011 and NABirds benchmarks, surpassing 93% accuracy on both datasets. Thus, HERBS presents a promising solution for improving the performance of fine-grained visual classification tasks. code: https://github.com/chou141253/FGVC-HERBS

研究の動機と目的

  • 視覚的に類似する微細カテゴリを識別する課題に対処しつつ、文脈/背景情報を活用する。
  • CNNやトランスフォーマーのバックボーンとエンドツーエンドで統合できるモジュラー形式のフレームワークを開発する。
  • 背景抑制と高温度リファインメントを通じて特徴学習を強化し、複数スケールの特徴を融合する。

提案手法

  • Background Suppression (BS) を導入し、信頼度で領域を分類し、トップ-k 特徴をグラフ畳み込みベースのセレクター/コンバイナで統合し、背景特徴を抑制するための dropped loss を使用する。
  • 高温度リファインメントを適用して、高い初期温度で訓練し、エポックごとに減衰させることで、多様でマルチスケールな特徴を学習する。
  • BS と High-temperature Refinement を組み合わせて HERBS モジュールを形成し、トップダウンとボトムアップの特徴融合モジュールを介してバックボーン（CNN または Transformer）と統合する。
  • 結合損失を用いて BS を訓練する（loss_bs = loss_m + lambda_d loss_d + lambda_l loss_l）、異なる温度での多クラス出力間の KL ダイバージェンスに導かれたリファインメント損失を用いる。
  • トレーニング初期には探索を促進し、後半にはより細かな識別を可能にするよう、温度減衰スケジュール T_e を適用する（T_e は初期高値から減衰する）。
  • CUB-200-2011 および NABirds ベンチマークで評価し、標準的なデータ拡張と訓練設定を用い、参照 GitHub リポジトリにオープンソースコードを提供する。
Figure 1: Examples of visual classification for coarse-grained categories and fine-grained categories.
Figure 1: Examples of visual classification for coarse-grained categories and fine-grained categories.

実験結果

リサーチクエスチョン

  • RQ1背景抑制は、有用な文脈情報を捨てずに FGVC を改善できるか。
  • RQ2高温度リファインメント戦略で複数スケールの特徴を学習することは、微細カテゴリの識別表現を向上させるか。
  • RQ3BS と高温度リファインメントは、FGVC において CNN と Vision Transformer のバックボーンタイプを問わず有効か。
  • RQ4統合手法（トップダウン vs ボトムアップの経路）と多クラス分類器が FGVC の精度に与える影響は何か。

主な発見

DatasetMethodTop-1 Accuracy (%)
CUB-200-2011FFVT91.6
CUB-200-2011ViT-NeT91.7
CUB-200-2011TransFG91.7
CUB-200-2011IELT91.8
CUB-200-2011SIM-Trans91.8
CUB-200-2011SAC91.8
CUB-200-2011CAP91.9
CUB-200-2011SR-GNN91.9
CUB-200-2011DCAL92.0
CUB-200-2011MetaFormer92.4
CUB-200-2011HERBS93.1
NA-BirdsFFVTN/A
NA-BirdsCAP91.0
NA-BirdsSR-GNN91.2
NA-BirdsMetaFormer92.7
NA-BirdsHERBS93.0
  • CUB-200-2011 で Top-1 精度 93.1%、NABirds で 93.0% の最先端を達成。
  • 全モジュールを用いた HERBS は、Swin Transformer および ResNet-50 バックボーン間で、ベースラインバックボーンや様々なモジュール組み合わせを上回る。
  • BS モジュールは背景ノイズを削減し、識別的特徴の集中を改善し、アブレーション研究とヒートマップ分析で示される。
  • 高温度リファインメントは多様で広範な特徴表現の学習を促進し、スケールを跨いだ精度を向上させる。
  • 全体の HERBS フレームワークを追加すると、単一モジュールだけの場合より大きな精度向上をもたらす（バックボーンにより +1.0 〜 +1.6 ポイント程度）。
  • Table IV は、HERBS が CUB-200-2011 データセット内の微細サブカテゴリの精度を向上させ、偽陽性を減少させることを示している。
Figure 2: The illustration of the model structure is shown, where the blue squares on the left represent the backbone blocks, which could be either Convolution-based or Transformer-based. The circles in the middle part denote the multi-scale feature fusion module, such as Feature Pyramid Network (FP
Figure 2: The illustration of the model structure is shown, where the blue squares on the left represent the backbone blocks, which could be either Convolution-based or Transformer-based. The circles in the middle part denote the multi-scale feature fusion module, such as Feature Pyramid Network (FP

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。