[論文レビュー] FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning

Chia-Wen Kuo, Chih‐Yao Ma+2 more|arXiv (Cornell University)|Jul 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 9

ひとこと要約

FeatMatchは、クラス内およびクラス間表現からのプロトタイプを用いて特徴空間内で複雑で多様な変換を生成する学習済み特徴ベースの拡張モジュールを提案する。この手法は、自己教師あり学習の性能を顕著に向上させ、ミニ-ImageNetでは17.44%の絶対的向上を達成し、ドメインシフトを伴うDomainNetでも高いロバスト性を示す。

ABSTRACT

Recent state-of-the-art semi-supervised learning (SSL) methods use a combination of image-based transformations and consistency regularization as core components. Such methods, however, are limited to simple transformations such as traditional data augmentation or convex combinations of two images. In this paper, we propose a novel learned feature-based refinement and augmentation method that produces a varied set of complex transformations. Importantly, these transformations also use information from both within-class and across-class prototypical representations that we extract through clustering. We use features already computed across iterations by storing them in a memory bank, obviating the need for significant extra computation. These transformations, combined with traditional image-based augmentation, are then used as part of the consistency-based regularization loss. We demonstrate that our method is comparable to current state of art for smaller datasets (CIFAR-10 and SVHN) while being able to scale up to larger datasets such as CIFAR-100 and mini-Imagenet where we achieve significant gains over the state of art ( extit{e.g.,} absolute 17.44\% gain on mini-ImageNet). We further test our method on DomainNet, demonstrating better robustness to out-of-domain unlabeled data, and perform rigorous ablations and analysis to validate the method.

研究の動機と目的

• 従来の画像ベースのデータ拡張がピクセル空間における単純かつ局所的な変換に制限されている半教師あり学習における限界を是正すること。
• データセットからの代表的プロトタイプを用いて、抽象的な特徴空間で動作させることで、より多様で意味的に意味のある拡張を可能にすること。
• 軽量でメモリ効率の良いモジュールを用いて、クラス内およびクラス間プロトタイプからの知識を統合することで、一貫性正則化を向上させること。
• ドメインシフトの現実的なシナリオ、例えばラベルなしデータがシフトしたドメインから供給される状況をDomainNetをベンチマークとして評価すること。
• CIFAR-10、SVHNといった小規模データセットからCIFAR-100、ミニ-ImageNet、DomainNetといった大規模ベンチマークにまでスケーラビリティを示し、一貫した性能向上を実証すること。

提案手法

• k-meansクラスタリングを用いて全データセットから抽出したプロトタイプ特徴を対象に、ソフトアテンションを適用する学習済み特徴の精錬および拡張モジュール（AugF）を導入する。
• プロトタイプはメモリバンクに格納され、定期的に更新されるため、顕著な計算コストを伴わずに効率的なアクセスが可能である。
• このモジュールは、クラス内およびクラス間プロトタイプに注目することで、標準的な画像空間拡張を超えた複雑で抽象的な変換を可能にする、精錬された特徴表現を生成する。
• 本手法は、画像ベースの拡張（例：RandAugment）と特徴ベースの拡張を、一貫性正則化フレームワーク内で統合し、変換間での予測ばらつきを最小化する。
• 損失関数には、グローバル一貫性損失（$\mathcal{L}_{con-g}$）と特徴レベルの一貫性損失（$\mathcal{L}_{con-f}$）の2つの成分が含まれ、それぞれ重み$\lambda_g$および$\lambda_f$で重み付けされる。
• トレーニングの安定化を図るため、AugFを含まない事前トレーニングフェーズを経て、徐々に学習率を上げてから減少させるスーパーコンバージェンスの学習率スケジュールを用いる。

実験結果

リサーチクエスチョン

• RQ1 クラス内およびクラス間プロトタイプを活用する特徴ベースの拡張は、標準的な画像空間拡張を超えて、半教師あり学習における一般化性能を向上させることができるか？
• RQ2 従来の手法が困難をきたす大規模ベンチマーク（ミニ-ImageNetおよびCIFAR-100）において、本手法はどのように性能を発揮するか？
• RQ3 ラベルなしデータがラベル付きデータとは異なるドメインから供給される場合、本手法はどの程度のロバスト性を示すか？
• RQ4 プロトタイプ数（$p_k$）やプロトタイプ更新間隔（$I_p$）といった主要ハイパーパrameterの影響は何か？
• RQ5 特徴空間における学習済み変換は、画像空間におけるものとどのように異なるか？また、それらはより多様で意味のある拡張をもたらすか？

主な発見

• ミニ-ImageNetにおいて、4,000枚のラベル付きサンプルのみを用いて、最も近いSOTA手法よりも17.44%の絶対的精度向上を達成した。
• CIFAR-100では、既存のSOTA手法を上回り、より大規模で複雑なデータセットへのスケーラビリティを示した。
• DomainNetでは、50%のラベルなしデータがシフトしたドメインから供給される状況で、教師ありベースライン比で23%、半教師ありベースライン比で12%の誤差低減を達成した。
• 深刻なドメインシフト下でも、誤差率が75%のラベルなしデータがシフトドメインから供給される状況で58.30%を維持し、画像ベースのベースラインより12.2%優れた性能を示した。
• アブレーションスタディにより、特徴ベースの拡張が多様で非自明な変換を学習していることが判明し、t-SNE可視化および生成サンプルの最近傍探索分析によって裏付けられた。
• 感度分析により、$p_k$および$I_p$の異なる値に対しても性能低下が最小限に抑えられ、ハイパーパrameter設定に対して高いロバスト性を示した。