[論文レビュー] Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation

Hung-Yu Tseng, Hsin-Ying Lee+2 more|arXiv (Cornell University)|Jan 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 65被引用数 179

ひとこと要約

本論文は、特徴表現の活性化を増強する特徴ごとの変換レイヤを導入し、メトリクスベースのfew-shot分類器の汎化性能を向上させるためにこれらのレイヤを最適化する学習-to-learn戦略を用いて、ドメインシフト下で未見のドメインへの一般化を改善する。

ABSTRACT

Few-shot classification aims to recognize novel categories with only few labeled images in each class. Existing metric-based few-shot classification algorithms predict categories by comparing the feature embeddings of query images with those from a few labeled images (support examples) using a learned metric function. While promising performance has been demonstrated, these methods often fail to generalize to unseen domains due to large discrepancy of the feature distribution across domains. In this work, we address the problem of few-shot classification under domain shifts for metric-based methods. Our core idea is to use feature-wise transformation layers for augmenting the image features using affine transforms to simulate various feature distributions under different domains in the training stage. To capture variations of the feature distributions under different domains, we further apply a learning-to-learn approach to search for the hyper-parameters of the feature-wise transformation layers. We conduct extensive experiments and ablation studies under the domain generalization setting using five few-shot classification datasets: mini-ImageNet, CUB, Cars, Places, and Plantae. Experimental results demonstrate that the proposed feature-wise transformation layer is applicable to various metric-based models, and provides consistent improvements on the few-shot classification performance under domain shift.

研究の動機と目的

• メトリクスベースのfew-shot分類におけるドメインシフトへ対応するため、トレーニング中の特徴分布を増強する。
• 中間特徴にアフィン変換を適用する特徴ごとの変換レイヤを提案する。
• これらの変換レイヤのハイパーパラメータを最適化する学習-to-learnアルゴリズムを開発する。
• 標準的なfew-shotベンチマークで複数のドメインシフトを横断した汎化性能の改善を実証する。

提案手法

• 特徴抽出器のバッチ正規化の後に特徴ごとの変換レイヤを挿入し、gammaとbetaを学習されたハイパーパラメータでパラメータ化されたガウス分布からサンプリングしてアフィン変換を適用する。
• formally, gamma ~ N(1, softplus(theta_gamma)) and beta ~ N(0, softplus(theta_beta)), with z_hat = gamma * z + beta where z is intermediate activation.
• エンコーダ全体にわたって複数のレイヤを使用し、ドメイン間で多様な特徴分布を模擬する。
• 学習-to-learnループを用いてハイパーパラメータtheta_gammaとtheta_betaを最適化し、pseudo-seen及びpseudo-unseenドメインで学習して一般化を最大化する。
• バイレベル様式（Eq. 5–7）に準じて、メトリクスベースのモデルパラメータと特徴ごとの変換ハイパーパラメータを同時に最適化する。
• ResNet-10バックボーンを用い、5-wayタスクを5つのデータセット（mini-ImageNet, CUB, Cars, Places, Plantae）で評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴ごとの変換レイヤはfew-shot分類のドメイン一般化を改善できるか。
• RQ2 これらのレイヤのハイパーパラメータをどのように最適化して、ドメイン横断の特徴分布変動を捉えるか。
• RQ3 学習-to-learn戦略は未見のドメインでの性能を高めるために増強パラメータを効果的に調整できるか。
• RQ4 提案レイヤを用いた表現は、異なるドメインに跨る複数のメトリックベースのベースライン（MatchingNet, RelationNet, GNN）にどのような影響を与えるか。

主な発見

• 特徴ごとの変換レイヤは、すべてのテストバックボーンにおいてドメインシフト下でfew-shotの精度を一貫して改善する。
• 変換パラメータの学習-to-learn最適化は、手動で調整した値を超えて一般化をさらに改善する。
• t-SNEの可視化は、変換レイヤを使用するとドメイン間距離が縮小され、特徴のドメイン横断の整合性が向上することを示す。
• leave-one-domain-out評価では、固定の事前設定パラメータよりも学習-to-learn最適化が優れている。
• 提案レイヤを備えたGNNは、seenドメインとunseenドメインの両方で強力な性能を発揮し、しばしばベースラインを上回る。