[論文レビュー] Transfer learning based few-shot classification using optimal transport mapping from preprocessed latent space of backbone neural network

Tomáš Chobola, Daniel Vašata+1 more|arXiv (Cornell University)|Feb 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 9

ひとこと要約

本論文は、事前学習されたバックボーンニューラルネットワークの前処理済み潜在空間からの最適輸送マッピングを用いた、新しい少サンプル分類手法を提案する。潜在空間変換（LST）を適用してクラス分布を正規分布に近づけ、ラベルなしデータを用いてSinkhornに基づく最適輸送による反復的クラス中心の最適化を行うことで、最先端の性能を達成し、MetaDLチャレンジ2020で2位を獲得した。

ABSTRACT

MetaDL Challenge 2020 focused on image classification tasks in few-shot settings. This paper describes second best submission in the competition. Our meta learning approach modifies the distribution of classes in a latent space produced by a backbone network for each class in order to better follow the Gaussian distribution. After this operation which we call Latent Space Transform algorithm, centers of classes are further aligned in an iterative fashion of the Expectation Maximisation algorithm to utilize information in unlabeled data that are often provided on top of few labelled instances. For this task, we utilize optimal transport mapping using the Sinkhorn algorithm. Our experiments show that this approach outperforms previous works as well as other variants of the algorithm, using K-Nearest Neighbour algorithm, Gaussian Mixture Models, etc.

研究の動機と目的

• 事前学習されたバックボーンネットワークの潜在特徴空間における非正規分布の課題に対処すること。これは、正規分布仮定に依存する下流の少サンプル分類手法の性能を損なう要因である。
• 潜在空間をより正規分布に近づける変換を施すことで、少サンプル分類の精度を向上させ、最適輸送に基づくマッピングの有効性を高めること。
• ラベルなしデータを用いて、Sinkhornに基づく最適輸送による反復的中心の最適化を実行することで、低データ環境における一般化性能を向上させること。
• 既存手法、特にパワー変換および代替クラスタリングベースラインを上回る、強力なメタラーニングパイプラインを構築すること。1ショットおよび5ショット設定の両方で有効である。
• 制限時間があるコンテスト環境における実世界の制約（例：実行時間制限）を踏まえ、高精度を維持しつつ軽量なResNetベースのバックボーンを用いることで、手法の実用性を高めること。

提案手法

• バックボーンネットワークの潜在空間からの特徴ベクトルに対して、歪度を低減し正規分布性を向上させるためにパワー変換を用いた潜在空間変換（LST）アルゴリズムを適用する。
• 変換済みの潜在空間におけるクラス中心間の最適輸送マップをSinkhornアルゴリズムで計算し、ラベル付きおよびラベルなしデータからの支援を受けて、新しいクラスプロトタイプを正確にアライメント可能にする。
• 期待値最大化（EM）風の手続きを用いて反復的にクラス中心を最適化する。この手続きでは、ラベルなしサンプルを最近傍の中心に割り当て、その後その重み付き寄与に基づいて中心を更新する。
• LSTで前処理された特徴をメタラーニングフレームワークに統合し、クエリサンプルを最適化されたクラス中心への最近傍割り当てにより分類する。
• 元のMAP（最尤推定）推論ステップを、KNNやGMMなどの代替分類器に置き換えることで、LST前処理の寄与を隔離し、ロバストネスを評価する。
• データオーグメンテーション（ランダムな明るさ/飽和度の調整、90度回転）を用いてバックボーンネットワークを訓練することで、LST適用前の特徴の一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたバックボーンネットワークの潜在空間を、より正規分布に近づける変換を施すことで、少サンプル分類性能が向上するか？
• RQ2 ラベルなしデータを用いて、反復的中心最適化を伴う最適輸送を用いることで、標準的なクラスタリングやMAP推論に比べ、より正確なクラスプロトタイプが得られるか？
• RQ3 さまざまな少サンプルベンチマークにおいて、LSTはパワー変換（PT）と比較して、精度および統計的有意性の面で優れているか？
• RQ4 実行時間制限下で訓練された軽量なResNetベースのバックボーンを、LSTおよび最適輸送と組み合わせることで、どれほど競争力のある性能を達成できるか？
• RQ5 LSTによる性能向上は、KNNやGMMなどの異なる分類ヘッドにおいても一貫して観察されるのか、それとも元のフレームワークで使用されるMAPベースの推論に特化しているのか？

主な発見

• LST+MAPモデルは、5ショットのCIFAR-FSベンチマークで90.73% ± 0.15%、CUBで94.09% ± 0.09%の精度を達成し、PT+MAPベースラインを上回った。
• 対応t検定の結果、1ショットおよび5ショット設定において、CIFAR-FSおよびCUBの両方でLST+MAPがPT+MAPを統計的に有意に上回ることが示された（p値 < 0.0001）。ただしCUBの5ショットではp = 0.78であった。
• MAP推論ステップを削除しても、LST変換済み特徴にKNNやGMMを適用することで、競争力ある結果が得られた。これはLST前処理のロバストネスを示している。
• LSTはパワー変換ベースラインを顕著に上回り、全テストデータセットおよびショット設定で改善が観察された。
• GPUバックエンドを用いた場合、1ショットでは1回あたり平均0.0026秒、5ショットでは0.003秒の推論時間で、計算効率が非常に高いことが分かった。
• MetaDLチャレンジ2020において、LSTを用いた手法は最終順位表で2位を獲得し、実際のコンテスト制約下でも有効性が検証された。