[論文レビュー] Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning

Max Vladymyrov, Andrey Zhmoginov+1 more|arXiv (Cornell University)|Jan 11, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、継続的少サンプル学習において災難的忘却を回避するため、少数のラベル付き例からタスク固有の畳み込みニューラルネットワーク（CNN）重みを再帰的に生成・更新するメタラーナーであるContinual HyperTransformer（CHT）を提案する。クラスプロトタイプを維持するためのプロトタイプ損失を採用することで、正のバックワード転送を達成し、タスクインクリメンタルおよびクラスインクリメンタルな状況の両方において効果的に一般化する。ベースラインを上回る性能を示し、学習時に使用したタスク数よりも多いタスクに対してテストされた場合でも同様の結果を示している。

ABSTRACT

We focus on the problem of learning without forgetting from multiple tasks arriving sequentially, where each task is defined using a few-shot episode of novel or already seen classes. We approach this problem using the recently published HyperTransformer (HT), a Transformer-based hypernetwork that generates specialized task-specific CNN weights directly from the support set. In order to learn from a continual sequence of tasks, we propose to recursively re-use the generated weights as input to the HT for the next task. This way, the generated CNN weights themselves act as a representation of previously learned tasks, and the HT is trained to update these weights so that the new task can be learned without forgetting past tasks. This approach is different from most continual learning algorithms that typically rely on using replay buffers, weight regularization or task-dependent architectural changes. We demonstrate that our proposed Continual HyperTransformer method equipped with a prototypical loss is capable of learning and retaining knowledge about past tasks for a variety of scenarios, including learning from mini-batches, and task-incremental and class-incremental learning scenarios.

研究の動機と目的

• タスクが順次到着し、ラベル付き例がごく僅かである継続的少サンプル学習における災難的忘却を解消すること。
• 再トレーニングを必要とせず、サポートセット入力のみを用いてタスク固有のCNN重みをリアルタイムで更新できるメタラーナーの開発。
• 単一の統一アーキテクチャを用いてタスクインクリメンタルおよびクラスインクリメンタル学習の両状況に効果的に一般化できる仕組みの構築。
• モデルが過去のタスクの知識を維持し、新しいタスク学習を通じてそれらのタスクでも性能向上（正のバックワード転送）を達成できることの実証。
• 多領域少サンプル学習において、タスクが多様な画像分布から到来する状況でのモデルの頑健性の評価。

提案手法

• 本手法は、メタラーナー（Transformer）とタスク固有のラーナー（CNN）を分離するため、少数のラベル付き例から直接タスク固有のCNN重みを生成するためのHyperTransformer（HT）を用いる。
• CHTは、以前に生成されたCNN重みθₜ₋₁を新しいサポートセットS⁽ᵗ⁾と組み合わせて再帰的に再利用し、現在のタスク用の更新済み重みθₜを生成する。
• 損失関数は交差エントロピーから、埋め込み空間におけるクラスプロトタイプを学習するプロトタイプ損失に変更され、過去および現在のすべてのタスクを同時に最適化可能となる。
• 新しいタスクが到着するたびにプロトタイプを段階的に更新し、埋め込み空間における最近接プロトタイプ分類に基づいて予測を行う。
• モデルは再帰的システムとして動作し、任意の時点t ≤ Tでの推論が可能であり、Tが増加するにつれて性能が向上する。
• アーキテクチャはエンドツーエンドで訓練され、すべての過去のタスクにおけるクエリセット損失の合計を最小化することで、知識の保持を保証する。

Figure 1: In few-shot continual learning, the model learns from $T$ tasks sequentially. For the first task (task $0$ ), the CNN weights $\theta_{0}$ are generated using only the support set $\smash{S^{(0)}}$ . For each subsequent task $t$ , the Continual HyperTransformer ( CHT ) uses the support set

実験結果

リサーチクエスチョン

• RQ1 災難的忘却を伴わずに継続的少サンプル学習を実現できるように、HyperTransformerを適応させることは可能か？
• RQ2 提案手法は、新しいタスク学習を通じて以前のタスクの性能が向上する正のバックワード転送を達成するか？
• RQ3 1つのCHTモデルが、タスクインクリメンタルおよびクラスインクリメンタル学習の両状況に効果的に一般化できるか？
• RQ4 学習時に使用したタスク数よりも多いタスクに対してテストされた場合、モデルの性能はどのようになるか、特に多領域少サンプル学習設定において。
• RQ5 標準的な交差エントロピーと比較して、プロトタイプ損失の使用が、継続的少サンプル学習における一般化性能および知識保持に寄与するか？

主な発見

• CHTは正のバックワード転送を達成し、特に小さなモデルでは、タスク数が増えるにつれて以前のタスクの性能が向上した。
• Omniglotデータセットにおいて、T=5タスクで学習したCHTは、初期段階からすべてのタスク情報を有していたMergedHTベースラインを上回った。
• 多領域少サンプル学習において、CHTはタスク0で56.2%、タスク1で55.2%の精度を達成し、ConstPNを約3%上回った（それぞれ53%および52.8%）。
• 学習時に使用したタスク数よりも多いタスクに対してテストされた場合、CHTは僅かな性能低下しか示さず、優れた外挿能を示した。
• タスクインクリメンタルおよびクラスインクリメンタルな設定の両方において、高い性能を維持し、両状況での結果が同等であった。
• CHTがより多くのタスクTで学習された場合、特定の重みθₜの性能が向上したため、広範な事前学習の価値が示された。

Figure 2: The information flow of the HyperTransformer ( HT ) model ( left ) compared to the proposed Continual HyperTransformer ( CHT ) model ( right ). In the original HT , the input weight embeddings are initialized with empty placeholders. In contrast, the proposed CHT model incorporates informa