[論文レビュー] Few-Shot Learning by Integrating Spatial and Frequency Representation

Xiangyu Chen, Guanghui Wang|arXiv (Cornell University)|May 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 4

ひとこと要約

本稿では、離散コサイン変換（DCT）前処理を用いて空間領域と周波数領域の表現を統合することで、少数ショット画像分類の性能を向上させる手法を提案する。CNNバックボーンを用いて両領域からの特徴を統合することで、顕著な精度向上が達成され、5ウェイ1ショットのminiImageNetでは最大62.30%の精度を達成した。周波数情報が空間特徴を補完し、モデルの識別性能を向上させることを示している。

ABSTRACT

Human beings can recognize new objects with only a few labeled examples, however, few-shot learning remains a challenging problem for machine learning systems. Most previous algorithms in few-shot learning only utilize spatial information of the images. In this paper, we propose to integrate the frequency information into the learning model to boost the discrimination ability of the system. We employ Discrete Cosine Transformation (DCT) to generate the frequency representation, then, integrate the features from both the spatial domain and frequency domain for classification. The proposed strategy and its effectiveness are validated with different backbones, datasets, and algorithms. Extensive experiments demonstrate that the frequency information is complementary to the spatial representations in few-shot classification. The classification accuracy is boosted significantly by integrating features from both the spatial and frequency domains in different few-shot learning tasks.

研究の動機と目的

• ラベル付き例が限られる状況、特に医療画像のようなデータが乏しい分野における少数ショット画像分類の課題に対処すること。
• 従来の少数ショット学習モデルが空間的画像特徴に依存しているという制限を克服すること。
• DCTを用いて抽出された周波数領域表現が、特徴の識別性およびモデルの汎化性能を向上させるかを調査すること。
• 多様なバックボーン、データセット、および少数ショット学習プロトコルにおいて、空間的および周波数的特徴を統合する有効性を実証すること。

提案手法

• 入力画像に離散コサイン変換（DCT）を適用し、事前にCNNバックボーンに供給する周波数領域表現を生成する。
• 2本の並列CNNブランチを用いる：1本は元の空間領域画像を処理する（CNN(s)）、もう1本はDCT変換後の周波数領域特徴を処理する（CNN(f)）。
• 両ブランチ（空間および周波数）からの特徴埋め込みを連結し、分類用の統合表現を形成する。
• 静的チャネル選択を用い、計算コストを低減しながらも識別性の高い情報を保持するため、低周波成分に焦点を当てる。
• 既存の少数ショット学習フレームワーク（例：baseline++）に、提案されたDCTベースの周波数モジュールをプラグイン型コンponentとして統合する。
• t-SNE可視化を用いて、空間特徴のみを使用するモデルと、空間-周波数特徴を統合したモデルの間で特徴クラスタリングの質を比較する。

実験結果

リサーチクエスチョン

• RQ1 DCTを用いて抽出された周波数領域表現を空間特徴と組み合わせることで、少数ショット分類性能が向上するか？
• RQ2 DCTフィルタのサイズが、少数ショット学習タスクにおける分類精度に与える影響は何か？
• RQ3 空間的および周波数的特徴の統合は、空間特徴のみを使用する場合と比較して、より優れた特徴クラスタリングおよび汎化性能をもたらすか？
• RQ4 本手法は、さまざまなバックボーンアーキテクチャ（例：ResNet10, ResNet18, ResNet34）および少数ショット学習ベンチマークに対して、どれほど頑健か？
• RQ5 データオーグメンテーションと周波数領域統合の、モデル精度向上に及ぼす相対的寄与度は何か？

主な発見

• 空間的および周波数的特徴を統合する本手法は、ResNet10を用いた5ウェイ1ショットのminiImageNetベンチマークで62.30%のトップ-1精度を達成し、ベースライン++(s)モデルを4.78ポイント上回った。
• 5ウェイ5ショットタスクでは、ResNet10を用いた場合、miniImageNetで79.93%の精度を達成し、空間特徴のみのベースラインより4.37%の向上を示した。
• 周波数特徴のみのブランチ（CNN(f)）は、すべてのバックボーンおよびタスクで空間特徴のみのベースラインを一貫して上回り、周波数特徴そのものが意味のある識別性を提供していることを示している。
• 両領域の統合により、異なるバックボーンにおいて4.37%から5.75%の性能向上が得られ、空間特徴のみのベースラインを上回った。
• 静的チャネル選択を用いる場合、DCTフィルタサイズが性能にほとんど影響しないことが示され、小さなフィルタサイズ（例：8×8）でも効果的な特徴抽出が可能であることが示唆された。
• t-SNE可視化により、統合モデルがよりコンパクトで明確に分離された特徴クラスタを生成していることが確認され、特徴の識別性および汎化能力が向上していることが示された。