[論文レビュー] Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport

Dandan Guo, Long Tian+3 more|arXiv (Cornell University)|Oct 9, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本論文は、新規サンプルとベースクラスの間の輸送計画を学習することで特徴分布を自己適応的に補正する階層的最適輸送（H-OT）フレームワークを提案する。ベースクラスをそのサンプル上での分布として低レベルの最適輸送でモデル化し、高レベルのOTを用いて自己適応的な重みを計算することで、微調整なしに少サンプル一般化を向上させる。Free-Lunchなどのベースラインを上回り、生成された特徴数が少ない状況でも優れた性能を発揮する。

ABSTRACT

Few-shot classification aims to learn a classifier to recognize unseen classes during training, where the learned model can easily become over-fitted based on the biased distribution formed by only a few training examples. A recent solution to this problem is calibrating the distribution of these few sample classes by transferring statistics from the base classes with sufficient examples, where how to decide the transfer weights from base classes to novel classes is the key. However, principled approaches for learning the transfer weights have not been carefully studied. To this end, we propose a novel distribution calibration method by learning the adaptive weight matrix between novel samples and base classes, which is built upon a hierarchical Optimal Transport (H-OT) framework. By minimizing the high-level OT distance between novel samples and base classes, we can view the learned transport plan as the adaptive weight information for transferring the statistics of base classes. The learning of the cost function between a base class and novel class in the high-level OT leads to the introduction of the low-level OT, which considers the weights of all the data samples in the base class. Experimental results on standard benchmarks demonstrate that our proposed plug-and-play model outperforms competing approaches and owns desired cross-domain generalization ability, indicating the effectiveness of the learned adaptive weights.

研究の動機と目的

• 少サンプル学習における分布補正におけるヒューリスティック的または非自己適応的な転送重みの制限を解消すること。
• 新規サンプルとベースクラス間の原理的かつデータ駆動的な類似性を学習することで、一般化性能を向上させること。
• ソースドメインからターゲットドメインに統計を転送することで、効果的なクロスドメイン少サンプル学習を可能にすること。
• 任意の事前学習済み特徴抽出器と互換性があるプラグアンドプレイフレームワークを開発し、高価な微調整を回避すること。
• クラス内サンプル重みとクラス間類似性を統一的かつ微分可能なかたちでモデル化する二段階最適輸送システムを構築すること。

提案手法

• 新規サンプルの分布とベースクラスの分布の間の高レベル最適輸送（H-OT）問題として、分布補正タスクを定式化する。
• 新規サンプルとベースクラスの間のコストを計算するため、低レベル最適輸送問題を導入し、ベースクラスを個々のサンプル上での分布としてモデル化する。
• 低レベルOTの解（つまり、ベースクラス内のサンプル重み）を高レベルOTのコスト関数として使用することで、自己適応的かつデータ駆動的な類似性学習を可能にする。
• 高レベルOTから得られる最適輸送計画を学習し、各新規サンプルに対して各ベースクラスが果たす寄与度を異なる重みとして割り当てる、自己適応的重み行列を生成する。
• 事前学習済みバックボーンを用いて特徴レベルで動作するプラグアンドプレイフレームワークを構築し、特徴抽出器の微調整を回避する。
• 学習された輸送計画を用いて、ベースクラスの統計（例：平均特徴）を新規サンプルに転送し、分類性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック的または固定距離法に比べ、階層的最適輸送フレームワークは、ベースクラスと新規クラスの間でより効果的かつ自己適応的な転送重みを学習できるか？
• RQ2 低レベルOTを用いてベースクラスをそのサンプル上での分布としてモデル化することで、重みなし平均に比べてクラスレベルの類似性表現が向上するか？
• RQ3 提案されたH-OT手法はドメインを越えて一般化可能か、特にクロスドメイン少サンプル学習設定で有効か？
• RQ4 H-OTで学習された自己適応的重み行列は、top-k選択（例：k=2）と比較して、サンプル効率と精度の点で優れているか？
• RQ5 輸送計画は、ベースクラスと新規クラスの間の意味的関係をどの程度反映しているか？

主な発見

• H-OTは、Conv4、Conv6、ResNet10、ResNet18といった複数のバックボーンを用いたminiImageNet上でもFree-Lunchベースラインを上回り、5-way-1-shot精度で一貫した向上を示した。
• H-OTはわずか50個の生成特徴で約68.5％の精度を達成したが、Free-Lunchは同程度の性能に到達するまでに750個の生成特徴を必要とした。
• 学習された輸送計画は、意味的に関連するベースクラス（例：「plain」に対して「elephant」や「bear」）を的確に特定しており、本手法が意味的相関を適切に捉えていることを示している。
• 固定コスト関数であっても、H-OTはFree-Lunchを上回った。これは、高レベルOTによって学習された自己適応的重み行列の有効性を裏付けている。
• 本手法はクロスドメイン少サンプル学習においても強力な性能を維持し、ソースドメインを超えた頑健性と一般化能力を示した。
• フレームワークはバックボーンアーキテクチャに依存せず、微調整を必要としないため、任意の事前学習済み特徴抽出器と即座に統合可能である。