[論文レビュー] ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion

Yingjun Du, Zehao Xiao+2 more|arXiv (Cornell University)|Jun 26, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

ProtoDiffは、少数のショット学習における確率的でタスク固有のプロトタイプを学習するためのタスク誘導型拡散モデルを導入し、メタテスト中にノイズから精錬されたプロトタイプを生成することで、決定論的プロトタイプネットワークを改善する。残差プロトタイプ学習により訓練を加速させ、精度を向上させることで、ドメイン内、ドメイン間、少数タスクの少サンプルベンチマークにおいて、すべてで最先端の性能を達成している。メタ学習により、初期のプロトタイプから過適合プロトタイプへと移行する拡散プロセスを学習し、その結果、性能が向上している。

ABSTRACT

Prototype-based meta-learning has emerged as a powerful technique for addressing few-shot learning challenges. However, estimating a deterministic prototype using a simple average function from a limited number of examples remains a fragile process. To overcome this limitation, we introduce ProtoDiff, a novel framework that leverages a task-guided diffusion model during the meta-training phase to gradually generate prototypes, thereby providing efficient class representations. Specifically, a set of prototypes is optimized to achieve per-task prototype overfitting, enabling accurately obtaining the overfitted prototypes for individual tasks. Furthermore, we introduce a task-guided diffusion process within the prototype space, enabling the meta-learning of a generative process that transitions from a vanilla prototype to an overfitted prototype. ProtoDiff gradually generates task-specific prototypes from random noise during the meta-test stage, conditioned on the limited samples available for the new task. Furthermore, to expedite training and enhance ProtoDiff's performance, we propose the utilization of residual prototype learning, which leverages the sparsity of the residual prototype. We conduct thorough ablation studies to demonstrate its ability to accurately capture the underlying prototype distribution and enhance generalization. The new state-of-the-art performance on within-domain, cross-domain, and few-task few-shot classification further substantiates the benefit of ProtoDiff.

研究の動機と目的

• 限られたサポートサンプルによる少サンプル学習における決定論的プロトタイプ推定の脆さに対処すること。
• 単純な平均化に依存するのではなく、プロトタイプの生成プロセスを学習することで、クラス分布をより強固にモデル化すること。
• ランダムなノイズからタスク固有のプロトタイプへと移行する拡散ベースのプロセスを学習することで、少サンプル分類における一般化と適応性を向上させること。
• プロトタイプ更新におけるスパarsityを活用することで、残差プロトタイプ学習により訓練を加速させ、性能を向上させること。
• ドメインにかかわらず多様なベンチマーク、特にドメイン間および少数タスクの設定を含む、少サンプル学習において新たな最先端の性能を確立すること。

提案手法

• ファインチューニングを用いて、タスク固有の表現を正確に得るための、各タスクごとのプロトタイプの過適合を最適化する。
• プロトタイプ空間内にタスク誘導型拡散プロセスを導入し、ランダムノイズから過適合プロトタイプへと移行するノイズ除去プロセスを学習する。
• メタテスト時に限られたサポートセットの例に条件づけて、ノイズからタスク固有のプロトタイプを生成する。
• バニラプロトタイプと過適合プロトタイプの差分のみをモデル化する残差プロトタイプ学習方式を活用し、訓練の効率性と性能を向上させる。
• 過適合プロトタイプをターゲットとして、プロトタイプ空間のノイズ除去を学ぶ逆方向プロセスを用いて、拡散モデルを訓練する。
• 最終分類のため、生成されたプロトタイプとクエリ特徴量をメトリクス学習（例：コサイン類似度）によって統合する。

Figure 1 : Computational graph of ProtoDiff. In the initial stage, the computation of the vanilla prototype $\tilde{\mathbf{z}}$ is performed based on the support set $\mathcal{S}^{i}$ . Subsequently, through the process of diffusion sampling, the diffused prototype $\mathbf{z}_{t-1}$ is derived fro

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、少サンプル学習におけるタスク固有のプロトタイプを、決定論的平均化を上回る形で効果的に生成できるか？
• RQ2 プロトタイプ空間におけるタスク誘導型拡散は、少サンプルベンチマーク全体での一般化性能をどのように向上させるか？
• RQ3 残差プロトタイプ学習は、プロトタイプベースのメタ学習における訓練の高速化と性能向上に、どの程度寄与するか？
• RQ4 ドメインシフトがサポートセットとクエリセットの間に存在する状況において、ProtoDiffはドメイン間少サンプル学習に効果的に一般化できるか？
• RQ5 少数のタスクしかメタトレーニングに利用できない少数タスクの少サンプル学習において、ProtoDiffは最先端の性能を達成できるか？

主な発見

• mini-ImageNet-Sの5-way 1-shot設定において、ProtoDiffは44.75%の精度を達成し、MetaModulationを1.54%上回り、新たなSOTAを樹立した。
• 挑戦的なDermNet-Sデータセットにおいて、5-way 1-shotで51.53%の精度を達成し、前回の最良手法を1.08%上回った。
• ChestXにおけるドメイン間少サンプル学習では、5-way 5-shotで28.54%の精度を達成し、HVMを1.39%上回った。
• ドメイン内、ドメイン間、少数タスクの少サンプル学習のすべてのベンチマークと設定において、ベースラインを一貫して上回った。
• 残差プロトタイプ学習により、訓練時間が短縮され、性能が向上した。これは、スパarsityに配慮したプロトタイプ更新の有効性を示している。
• 拡散サンプリングによる推論コストの増加にもかかわらず、ProtoDiffは高い性能と一般化能力を維持しており、精度と効率のトレードオフが正当化されていることを裏付けた。

Figure 2 : Visualization of the diffusion process. ProtoDiff randomly selects certain areas to predict during the diffusion process, with the lowest probability at the beginning time step. As time progresses, the prototype gradually aggregates towards the dog , with the highest probability at t=0.