[論文レビュー] Few-shot Fine-grained Image Classification via Multi-Frequency Neighborhood and Double-cross Modulation

Hegui Zhu, Zhan Gao+3 more|arXiv (Cornell University)|Jul 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、特徴表現とアライメントを向上させるために、マルチ周波数近接 (MFN) とダブルクロス変調 (DCM) を用いた、少数ショットの細分化画像分類モデル FicNet を提案する。MFN は空間的および周波数ドメインの構造的パターンを捉えることで、クラス内変動を低減する。一方、DCM は二重クロスコンボリューションと 3D クロスアテンションを用い、グローバルな文脈とタスク固有のアテンションで特徴を変調し、CUB-200 で 93.17%、Stanford Cars で 95.36% の精度を達成し、一般的な細分化分類手法を上回った。

ABSTRACT

Traditional fine-grained image classification typically relies on large-scale training samples with annotated ground-truth. However, some sub-categories have few available samples in real-world applications, and current few-shot models still have difficulty in distinguishing subtle differences among fine-grained categories. To solve this challenge, we propose a novel few-shot fine-grained image classification network (FicNet) using multi-frequency neighborhood (MFN) and double-cross modulation (DCM). MFN focuses on both spatial domain and frequency domain to capture multi-frequency structural representations, which reduces the influence of appearance and background changes to the intra-class distance. DCM consists of bi-crisscross component and double 3D cross-attention component. It modulates the representations by considering global context information and inter-class relationship respectively, which enables the support and query samples respond to the same parts and accurately identify the subtle inter-class differences. The comprehensive experiments on three fine-grained benchmark datasets for two few-shot tasks verify that FicNet has excellent performance compared to the state-of-the-art methods. Especially, the experiments on two datasets, "Caltech-UCSD Birds" and "Stanford Cars", can obtain classification accuracy 93.17\% and 95.36\%, respectively. They are even higher than that the general fine-grained image classification methods can achieve.

研究の動機と目的

• サブカテゴリに最小限のトレーニングサンプルと微細な視覚的差異がある少数ショットの細分化画像分類の課題に対処すること。
• 現実世界のデータにおける外観や背景の変化によって引き起こされるクラス内変動を低減すること。
• サポート画像とクエリ画像の両方の局所的で特徴的な部分に注目することで、クラス間の識別性を向上させること。
• パーツのアノテーションやバウンディングボックスを必要とせず、頑健でアライメントされた表現を学習することで、正確な分類を可能にすること。
• 構造的アテンションと周波数に敏感な特徴学習を通じて、モデルのパフォーマンスと計算効率のバランスを取ること。

提案手法

• マルチ周波数近接 (MFN) はスペクトル解析を用いて特徴マップを複数の周波数成分に分解し、コンパクトで滑らかな構造的パターンを抽出する。
• MFN は近接領域内の自己類似性を活用することで、不要な外観や背景の変動を抑制し、耐性を高める。
• ダブルクロス変調 (DCM) は二重クロスコンボリューション (BCC) と二重 3D クロスアテンション (DCA) を組み合わせ、グローバルな文脈とタスク固有の関係性を用いて特徴を変調する。
• BCC はクロスコンボリューションを用いて全方向からの文脈を段階的に集約し、特徴の完全性を向上させる。
• DCA は 3D ダブルクロスコンボリューションを用いて 4D クロス相関テンソルを精緻化し、幾何的詳細を保持しながら特徴的な領域に注目する。
• DCM モジュールにより、視点や遮蔽の違いがあっても同じ物体部位に対応するように、サポートとクエリの特徴間でクロスアテンションが可能になる。

実験結果

リサーチクエスチョン

• RQ1 マルチ周波数特徴表現は、少数ショットの細分化分類において、背景や外観の変化によって引き起こされるクラス内変動を低減できるか？
• RQ2 グローバルな文脈とタスク固有のアテンションを同時にモデル化することで、サポート画像とクエリ画像間の特徴アライメントが向上するか？
• RQ3 3D ダブルクロスアテンションは、標準的なクロスアテンション機構に比べて、空間的詳細の保持と識別性の向上に優れているか？
• RQ4 二重クロスコンボリューションによる文脈集約は、特徴の完全性と分類精度をどの程度向上させるか？
• RQ5 提案手法はパーツレベルのアノテーションを必要とせず、最先端のパフォーマンスを達成できるか？

主な発見

• FicNet は CUB-200 データセットで 5 ショット設定において 93.17% の精度を達成し、一般的な細分化分類手法を上回った。
• Stanford Cars データセットでは、5 ショット設定で 95.36% の精度に達し、複雑な車両カテゴリにおいて優れた一般化性能を示した。
• アブレーションスタディの結果、DCM における BCC と DCA の組み合わせにより、1 ショットと 5 ショットのタスクでそれぞれ 2.06% と 2.3% の精度向上が確認された。
• BCC における 2 回のクロスコンボリューション (L=2) が、最小限のメモリと時間のオーバーヘッドで最適なパフォーマンスを発揮し、効率と精度のバランスを取った。
• CAN や CCA といった標準的なクロスアテンションモジュールを DCA に置き換えることで、CUB-200 と mini-ImageNet でそれぞれ 0.71% と 0.34% の精度向上が得られた。
• MFN、BCC、DCA を統合した FicNet の完全モデルは、CUB-200 で 1 ショットで 80.97%、5 ショットで 93.17% の精度を達成し、最先端の手法を上回った。