[論文レビュー] Unsupervised Embedding Adaptation via Early-Stage Feature Reconstruction for Few-Shot Classification

Dong Hoon Lee, Sae-Young Chung|arXiv (Cornell University)|Jun 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 8

ひとこと要約

本論文は、特徴再構成と局所的内挿次元性に基づく早期停止を活用して汎用的でタスクに特化した特徴を学習する、少サンプル分類のための新しい教師なし埋め込み適応手法であるEarly-Stage Feature Reconstruction (ESFR) を提案する。ESFR はベースライン手法を一貫して改善し、mini-ImageNet、tiered-ImageNet、CUB で最先端性能を達成しており、1ショット設定では先行手法より1.2%〜2.0%の精度向上を達成している。

ABSTRACT

We propose unsupervised embedding adaptation for the downstream few-shot classification task. Based on findings that deep neural networks learn to generalize before memorizing, we develop Early-Stage Feature Reconstruction (ESFR) -- a novel adaptation scheme with feature reconstruction and dimensionality-driven early stopping that finds generalizable features. Incorporating ESFR consistently improves the performance of baseline methods on all standard settings, including the recently proposed transductive method. ESFR used in conjunction with the transductive method further achieves state-of-the-art performance on mini-ImageNet, tiered-ImageNet, and CUB; especially with 1.2%~2.0% improvements in accuracy over the previous best performing method on 1-shot setting.

研究の動機と目的

• 少ないラベル付き例からの一般化に苦労する少サンプル分類の課題に対処するため、ラベルなしテストデータを用いて事前学習済み埋め込みを適応する。
• 教師なし学習中に得られる初期段階の特徴が、少サンプル適応に有用な汎用的パターンを含んでいるかどうかを調査する。
• 適応中にラベル情報を利用せずに、インダクティブおよびトランスダクティブな少サンプル学習手法を向上させる、プラグアンドプレイ式の適応モジュールを開発する。
• ラベルなしクエリデータにおける共通の低次元構造を同定することで、標準的な少サンプルベンチマークでの性能を向上させる。

提案手法

• ESFR は、サポート特徴とクエリ特徴の集合を用いて再構成損失を最適化することで、入力構造を保持する埋め込みアダプタを学習する。
• 局所的内挿次元性（LID）推定を用いて、過学習を防ぐための最適な訓練エポックを早期停止で決定する。
• 再構成された特徴の LID が一般化の開始と記憶の終了の両方に安定するタイミングを基準に、早期停止を実行する。
• 重み初期化をランダムに設定した埋め込みアンサンブルを用いることで、分散を低減し、堅牢性を向上させる。
• 訓練中にドロップアウトの摂動を適用することで、記憶を抑止し、一般化をさらに強化する。
• 最終的な適応済み埋め込みは、追加の微調整なしに最近傍法分類器で推論に使用する。

実験結果

リサーチクエスチョン

• RQ1 教師なし事前学習中に得られる初期段階の特徴は、効果的な少サンプル分類適応に活用可能か？
• RQ2 局所的内挿次元性に基づく早期停止による特徴再構成は、少サンプル学習における一般化を向上させるか？
• RQ3 ラベル情報を利用せずに適応する教師なし適応モジュールは、多様な少サンプル分類ベンチマークで性能を向上させられるか？
• RQ4 PCA や ICA、埋め込み伝播といった既存の埋め込み適応手法と比較して、ESFR は精度と堅牢性の点で優れているか？

主な発見

• ESFR は 1ショット設定において mini-ImageNet、tiered-ImageNet、CUB で最先端性能を達成しており、前回の最先端手法である LaplacianShot より 1.2% から 2.0% の精度向上を達成した。
• 本手法は、インダクティブおよびトランスダクティブな両設定を含む、すべての標準的な少サンプル分類ベンチマークでベースラインモデルを一貫して改善した。
• トランスダクティブ手法 BD-CSPN と組み合わせた ESFR-Semi は、5ショット設定で +0.3% から +0.8% の追加精度向上を達成した。
• アブレーションスタディの結果、埋め込みアンサンブルとドロップアウト摂動の両方が性能向上に寄与しており、完全な ESFR 設定がすべての変種を上回った。
• PCA や ICA、埋め込み伝播といった先行する埋め込み適応手法よりも ESFR が優れており、1ショット mini-ImageNet において ICA を用いた適応より +1.8% から +2.0% の向上を示した。
• 1ショット設定では λ=0 で最適な性能を達成しており、適応段階でラベル情報が不要であることを示しており、ESFR の教師なし性を裏付けている。