[論文レビュー] Realistic Evaluation of Transductive Few-Shot Learning

Olivier Veilleux, Malik Boudiaf+2 more|arXiv (Cornell University)|Apr 24, 2022

Machine Learning and ELM被引用数 7

ひとこと要約

本稿は、クエリセットのクラス分布をディリクレ分布に従う周辺分布としてモデル化することで、帰納的少数ショット学習の現実的な評価を提案する。その結果、最先端の帰納的手法がクラス不均衡下で著しい性能低下を示すことが明らかになった。これはしばしば帰納的ベースラインを下回る。本稿では、相互情報量を一般化する$α$-発散に基づく損失関数を提案し、複数のベンチマークで不均衡な設定において優れたロバスト性と性能を達成する。

ABSTRACT

Transductive inference is widely used in few-shot learning, as it leverages the statistics of the unlabeled query set of a few-shot task, typically yielding substantially better performances than its inductive counterpart. The current few-shot benchmarks use perfectly class-balanced tasks at inference. We argue that such an artificial regularity is unrealistic, as it assumes that the marginal label probability of the testing samples is known and fixed to the uniform distribution. In fact, in realistic scenarios, the unlabeled query sets come with arbitrary and unknown label marginals. We introduce and study the effect of arbitrary class distributions within the query sets of few-shot tasks at inference, removing the class-balance artefact. Specifically, we model the marginal probabilities of the classes as Dirichlet-distributed random variables, which yields a principled and realistic sampling within the simplex. This leverages the current few-shot benchmarks, building testing tasks with arbitrary class distributions. We evaluate experimentally state-of-the-art transductive methods over 3 widely used data sets, and observe, surprisingly, substantial performance drops, even below inductive methods in some cases. Furthermore, we propose a generalization of the mutual-information loss, based on $α$-divergences, which can handle effectively class-distribution variations. Empirically, we show that our transductive $α$-divergence optimization outperforms state-of-the-art methods across several data sets, models and few-shot settings. Our code is publicly available at https://github.com/oveilleux/Realistic_Transductive_Few_Shot.

研究の動機と目的

• 現在の少数ショットベンチマークにおけるクラスバランスの仮定に疑問を呈し、これは帰納的手法に人工的に有利に働く。
• クエリセットにおける現実的で任意のクラス分布下で、最先端の帰納的少数ショット学習手法のロバスト性を評価すること。
• クラス分布シフトに強く対応できるように、$α$-発散に基づく相互情報量損失の一般化を提案すること。
• ディリクレ分布でサンプリングされた現実的でリアルなクラス分布を導入することで、帰納的と帰納的でない少数ショット学習の公平なベンチマークプロトコルを提供すること。

提案手法

• クエリセットの周辺クラス確率を、確率単体内での現実的で任意のクラス分布を生成できるように、ディリクレ分布に従う確率変数としてモデル化する。
• パrameter vector $\bm{a}$ を用いたディリクレ分布からラベルの割合をサンプリングすることで、既存の少数ショットベンチマークを不均衡なタスクを含むように変更し、不均衡の深刻度を制御可能にする。
• トレーニングおよび推論時に変動するラベル周辺分布に強い、$α$-発散に基づく新しい損失関数を提案する。
• $α$-TIMを導入し、$α$-発散損失を最適化することで、クラス不均衡下での一般化性能を向上させる。
• 異なる不均衡レベルで一貫した性能を達成するように、$α$ハイパーパrameterをチューニングするための検証プロトコルを採用する。
• 標準的なバックボーンと少数ショット設定を用いて、3つの標準的少数ショットデータセット（miniImageNet、tieredImageNet、CIFAR-FS）で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 クラスバランスの取れたものではなく、現実的で不均衡なクエリセット分布下で評価された場合、最先端の帰納的少数ショット学習手法はどの程度の性能を示すか？
• RQ2 現在の帰納的手法は、メタトレーニング中に埋め込まれた暗黙的または明示的なクラスバランス事前分布にどの程度依存しているか？
• RQ3 $α$-発散に基づく一般化された相互情報量損失は、帰納的少数ショット学習におけるクラス分布シフトに対してロバスト性を向上させられるか？
• RQ4 クラス不均衡下では、帰納的バッチ正規化が依然として有益であるか、それとも現実的設定では性能を低下させるか？
• RQ5 ベンチマークプロトコルにおいて人工的なクラスバランス仮定を排除した場合、帰納的手法の性能は帰納的ベースラインと比べてどの程度か？

主な発見

• 最先端の帰納的手法、特にTIMやPT-MAPは、現実的で不均衡なクエリセット下で最大18%の性能低下を示し、一部の手法は帰納的ベースラインを下回ることもあった。
• TIMの性能は、周辺エントロピー重み$\lambda$を丁寧にチューニングしない限り著しく低下するため、ハイパーパrameter選択に極めて感受することが明らかになった。
• 提案された$α$-TIMは、すべてのデータセット、バックボーン、少数ショット設定において、既存手法を一貫して上回る改善を達成し、極端なクラス不均衡下でも同様に有効である。
• TIMにおける$\lambda$ベースのチューニングとは異なり、$α$-TIMの$α$-発散損失は、最適でない$α$値に対してもロバストであるため、実世界への導入に際してより実用的である。
• 帰納的バッチ正規化は、クラス不均衡下では性能を低下させることが示され、バランスの取れた設定下でのその有益性とは対照的であった。
• [33]の帰納的ベースラインは、高レベルの不均衡下では、大多数の帰納的手法を上回る競争力を持つようになることが示され、現在の帰納的手法の利点の一部が人工的なバランス事前分布に起因している可能性を示唆した。