[論文レビュー] Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation

Hung-Yu Tseng, Hsin-Ying Lee+2 more|arXiv (Cornell University)|Jan 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 116

ひとこと要約

この論文は、学習を学習する戦略を組み合わせた特徴ごとの変換層を導入し、メトリックベースの少数ショット分類器のドメイン間一般化を改善する。複数のドメインデータセットで検証されている。

ABSTRACT

Few-shot classification aims to recognize novel categories with only few labeled images in each class. Existing metric-based few-shot classification algorithms predict categories by comparing the feature embeddings of query images with those from a few labeled images (support examples) using a learned metric function. While promising performance has been demonstrated, these methods often fail to generalize to unseen domains due to large discrepancy of the feature distribution across domains. In this work, we address the problem of few-shot classification under domain shifts for metric-based methods. Our core idea is to use feature-wise transformation layers for augmenting the image features using affine transforms to simulate various feature distributions under different domains in the training stage. To capture variations of the feature distributions under different domains, we further apply a learning-to-learn approach to search for the hyper-parameters of the feature-wise transformation layers. We conduct extensive experiments and ablation studies under the domain generalization setting using five few-shot classification datasets: mini-ImageNet, CUB, Cars, Places, and Plantae. Experimental results demonstrate that the proposed feature-wise transformation layer is applicable to various metric-based models, and provides consistent improvements on the few-shot classification performance under domain shift.

研究の動機と目的

• ドメインシフトを奨励し、メトリックベースの少数ショット分類を対象とした課題を提示する。
• トレーニング中に特徴分布を拡張するための特徴ごとの変換層を提案する。
• 変換のハイパーパラメータを最適化する学習を学習するアルゴリズムを開発する。
• 複数のデータセットとモデルにおけるドメイン横断の一般化性能の改善を実証する。

提案手法

• バッチ正規化の後に特徴ごとの変換層を挿入し、中間特徴にアファイン変換を適用する。
• 学習可能なハイパーパラメータでパラメータ化されたガウス分布からチャネルごとのスケーリングとバイアスをサンプリングする。
• モデルパラメータと変換ハイパーパラメータの両方を最適化するために、疑似的に見られたドメインタスクと疑似的に見られていないドメインタスクを用いて訓練する。
• 学習を学習するループを介してメトリックベースのモデルと変換層を共同で最適化する。
• 5つのデータセットにわたって、複数のメトリックベースのフレームワーク（MatchingNet、RelationNet、GNN）を評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴ごとの変換層は、少数ショット学習におけるドメインシフトを減らすために多様な特徴分布をシミュレートできるか。
• RQ2 学習を学習する戦略は、未知ドメインの性能を改善するために変換のハイパーパラメータを信頼性高く調整できるか。
• RQ3 提案された層は、異なるメトリックベースのアーキテクチャに対して一貫した利得を提供するか。
• RQ4 mini-ImageNetで訓練し他のドメインで評価した場合、クロスドメイン一般化はどのように比較されるか。

主な発見

モデル	FT (手動)	mini-ImageNet	CUB	Cars	Places	Plantae	備考
MatchingNet	-	59.10±0.64%	35.89±0.51%	30.77±0.47%	49.86±0.79%	32.70±0.60%	Base
MatchingNet	FT	58.76±0.61%	36.61±0.53%	29.82±0.44%	51.07±0.68%	34.48±0.50%
RelationNet	-	57.80±0.88%	42.44±0.77%	29.11±0.60%	48.64±0.85%	33.17±0.64%
RelationNet	FT	58.64±0.85%	44.07±0.77%	28.63±0.59%	50.68±0.87%	33.14±0.62%
GNN	-	60.77±0.75%	45.69±0.68%	31.79±0.51%	53.10±0.80%	35.60±0.56%
GNN	FT	66.32±0.80%	47.47±0.75%	31.61±0.53%	55.77±0.79%	35.95±0.58%
MatchingNet	-	70.96±0.65%	51.37±0.77%	38.99±0.64%	63.16±0.77%	46.53±0.68%
MatchingNet	FT	72.53±0.69%	55.23±0.83%	41.24±0.65%	64.55±0.75%	41.69±0.63%
RelationNet	-	71.00±0.69%	57.77±0.69%	37.33±0.68%	63.32±0.76%	44.00±0.60%
RelationNet	FT	73.78±0.64%	59.46±0.71%	39.91±0.69%	66.28±0.72%	45.08±0.59%
GNN	-	80.87±0.56%	62.25±0.65%	44.28±0.63%	70.84±0.65%	52.53±0.59%
GNN	FT	81.98±0.55%	66.98±0.68%	44.90±0.64%	73.94±0.67%	53.85±0.62%

• 特徴ごとの変換層は、評価対象のすべてのメトリックベースモデルに対して一貫してドメイン横断の性能を向上させる。
• 変換ハイパーパラメータの学習を学習する最適化は、手動で調整したパラメータよりも追加の利得をもたらす。
• GNNベースのアプローチは、提案された層を用いると1ショットおよび5ショット設定の両方で最も大きな改善を達成する。
• データセット全体で、この方法は視覚的に示されるドメインギャップを縮小し、見られたドメインの性能を維持または向上させる。
• 全体として、このアプローチは特徴ごとの変換層なしのベースラインより未知ドメインへの一般化に優れている。