[論文レビュー] Transductive Information Maximization For Few-Shot Learning

Mohamed Amine Boudiaf, Imtiaz Masud Ziko+4 more|arXiv (Cornell University)|Aug 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 49

ひとこと要約

TIM は few-shot タスク内でクエリ特徴とラベル予測間の相互情報を最大化し、サポートセットによる監視付きで、トランダクティブ推論のための高速な ADMM 的解法を用い、複雑なメタ学習を用いずに最先端の結果を示します。

ABSTRACT

We introduce Transductive Infomation Maximization (TIM) for few-shot learning. Our method maximizes the mutual information between the query features and their label predictions for a given few-shot task, in conjunction with a supervision loss based on the support set. Furthermore, we propose a new alternating-direction solver for our mutual-information loss, which substantially speeds up transductive-inference convergence over gradient-based optimization, while yielding similar accuracy. TIM inference is modular: it can be used on top of any base-training feature extractor. Following standard transductive few-shot settings, our comprehensive experiments demonstrate that TIM outperforms state-of-the-art methods significantly across various datasets and networks, while used on top of a fixed feature extractor trained with simple cross-entropy on the base classes, without resorting to complex meta-learning schemes. It consistently brings between 2% and 5% improvement in accuracy over the best performing method, not only on all the well-established few-shot benchmarks but also on more challenging scenarios,with domain shifts and larger numbers of classes.

研究の動機と目的

• 新しいクラスに対してラベル付きデータが限られる状況で、少数ショット学習の必要性を動機づける。
• クエリ特徴とラベル間の相互情報に基づくトランダクティブ推論の目的を提案する。
• クロスエントロピー損失を介してサポートセットからの監視を組み込む。
• 推論を高速化するために TIM のための高速解法（交互方向法/ADMM）を開発する。
• 標準的な FSL ベンチマークとドメインシフトのシナリオで顕著な実証的利得を示す。

提案手法

• TIM 損失を、サポートセットでの CE と、クエリセットでの経験的相互情報項を差し引いた形として定義し、退化的な解を防ぐための周辺エントロピー正規化項を付与する。
• MI 項を以下の形で表現する - H_hat(Y_Q) + alpha * (1/|Q|) sum_{i in Q} sum_{k} p_{ik} log p_{ik}, where p_{ik} ~ exp(-tau/2 * ||w_k - z_i||^2) and z_i is the L2-normalized embedding.
• 補助割り当て行列 q を導入し、ADMM-様の更新で近似された制約付き最適化を定式化する。
• 2つの最適化戦略を提供: TIM-GD（分類器の重み W のみを勾配ベースで更新）と TIM-ADM（W と q の交互更新を閉形式のステップで実行）。
• ラベル周辺エントロピー項が最適化の安定性と実行速度を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 トランダクティブな相互情報目的がメタ学習を用いずに少数ショット学習を改善できるか？
• RQ2 ラベル周辺エントロピー正規化を組み込むことで退化した解を防ぎ、収束を速めるか？
• RQ3 TIM における勾配ベースと ADMM 風解法の精度と速度の比較は？
• RQ4 TIM はドメインシフトや高いクラス数（ways）が増える少数ショットタスクに対して頑健か？
• RQ5 TIM は固定された基盤学習済み特徴抽出器の上に、異なるバックボーンに対して適用できるか？

主な発見

• TIM は mini-ImageNet、tiered-ImageNet、CUB で、1-shot および 5-shot 設定において最先端の結果を達成し、トランダクティブタスクでは ResNet-18 バックボーンおよび WRN-28-10 を使用。
• TIM-GD および TIM-ADM は従来のトランザクティブおよび誘導的手法を一貫して上回り、TIM-ADM は推論がより高速。
• ラベル周辺エントロピー項は正確性（および最適化）を大幅に向上させ、トランダクティブ推定の実行時間を累乗オーダーの規模で短縮できる。
• トランスダクション中にバックボーン全体をファイントゥインすることは、TIM の性能を低下させ、かなり遅くなる。
• TIM はドメインシフト（mini-ImageNet から CUB）と高い way（10-way、20-way）のシナリオで高い性能を示す。
• ADM ベースの解法（TIM-ADM）は TIM-GD に比べてタスクあたりの推論時間を約1桁、先行のトランダクティブ法に比べて2桁以上短縮する。