[論文レビュー] Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters

Yawen Cui, Zitong Yu+4 more|arXiv (Cornell University)|Feb 12, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、未学習のドメインへの一般化評価を統合したクラスおよびドメイン増分学習を統一する、一般化少数ショット継続的学習（GFSCL）という新しいベンチマークプロトコルを提案する。対照的アダプタ混合（CMoA）を導入し、再現（rehearsal）を不要とするVision Transformerフレームワークを構築。クラス増分学習には動的アダプタ混合を、ドメインシフト低減にはプロトタイプ補正対照学習を採用し、mini-ImageNetおよびmini-DomainNetにおいて再現ベース手法と同等の性能を達成した。

ABSTRACT

The goal of Few-Shot Continual Learning (FSCL) is to incrementally learn novel tasks with limited labeled samples and preserve previous capabilities simultaneously, while current FSCL methods are all for the class-incremental purpose. Moreover, the evaluation of FSCL solutions is only the cumulative performance of all encountered tasks, but there is no work on exploring the domain generalization ability. Domain generalization is a challenging yet practical task that aims to generalize beyond training domains. In this paper, we set up a Generalized FSCL (GFSCL) protocol involving both class- and domain-incremental situations together with the domain generalization assessment. Firstly, two benchmark datasets and protocols are newly arranged, and detailed baselines are provided for this unexplored configuration. We find that common continual learning methods have poor generalization ability on unseen domains and cannot better cope with the catastrophic forgetting issue in cross-incremental tasks. In this way, we further propose a rehearsal-free framework based on Vision Transformer (ViT) named Contrastive Mixture of Adapters (CMoA). Due to different optimization targets of class increment and domain increment, the CMoA contains two parts: (1) For the class-incremental issue, the Mixture of Adapters (MoA) module is incorporated into ViT, then cosine similarity regularization and the dynamic weighting are designed to make each adapter learn specific knowledge and concentrate on particular classes. (2) For the domain-related issues and domain-invariant representation learning, we alleviate the inner-class variation by prototype-calibrated contrastive learning. The codes and protocols are available at https://github.com/yawencui/CMoA.

研究の動機と目的

• クラスおよびドメイン増分少数ショット継続的学習の統合的評価の欠如に対処すること。
• クラス増分とドメイン増分学習を交互に実施する新しいベンチマークプロトコルおよびデータセット構成を提案すること。
• 継続的学習における災難的忘却の緩和と少数ショット継続的学習におけるドメイン一般化の向上を図る再現不要なフレームワークを開発すること。
• 未学習ドメインにおける一般化性能の評価を実施し、従来の少数ショット継続的学習研究におけるギャップを埋めること。

提案手法

• クラス増分とドメイン増分学習のセッションを交互に実施する新しいGFSCLプロトコルを提案。5-way 5-shotまたは3-way 2-shotの少数ショット設定を採用。
• 動的タスク固有の知識学習を可能とするアダプタ混合（MoA）モジュールを備えたViTベースのフレームワーク、対照的アダプタ混合（CMoA）を導入。
• コサイン類似度正則化と動的アダプタ重み付けを適用し、各アダプタが特定のクラスに特化し、干渉を回避することを保証。
• ドメイン不変表現を学習し、クラス内変動を低減するため、プロトタイプ補正対照学習を採用。
• 2本のブランチからなる対照的損失を採用：1本はクラス固有の知識学習、もう1本はドメインに強い特徴学習。
• 全体の正確性および一般化正確性を含む6つの指標を用いて、学習済みドメインおよび未学習ドメインの両方で性能を評価。

実験結果

リサーチクエスチョン

• RQ1 少数ショット継続的学習フレームワークは、同時にクラス増分とドメイン増分のシナリオを効果的に処理できるか？
• RQ2 提案されたCMoAフレームワークは、既存の再現ベース手法と比較して、未学習ドメインへの一般化性能でどの程度優れているか？
• RQ3 コサイン類似度正則化を用いた動的アダプタ混合は、少数ショット継続的学習における専門化の向上と忘却の低減にどの程度寄与するか？
• RQ4 プロトタイプ補正対照学習は、継続的学習環境下でドメイン不変表現学習を強化するか？
• RQ5 各セッションで全く新しいドメインからの新規クラスが到着するというより困難な状況下で、フレームワークはどの程度の性能を示すか？

主な発見

• CMoAは、mini-ImageNetおよびmini-DomainNetの両方で再現ベース手法と同等の性能を達成し、優れた安定性と柔軟性を示した。
• mini-ImageNetでは3-way 2-shot設定下で全体正確性78.4%を達成し、既存のFSCLベースラインを上回った。
• mini-DomainNetでは全体正確性68.2%、未学習ドメインでの一般化正確性52.1%を達成し、強力なドメイン一般化能力を示した。
• アブレーションスタディにより、動的アダプタ重み付けとプロトタイプ補正対照学習の両方が性能向上に不可欠であることが確認され、特に忘却の低減に寄与した。
• 可視化により、CMoAは標準的なViTよりも顕著な領域に集中した注目マップを学習していることが示され、より優れた特徴学習が行われていることを示した。
• 完全に新しいドメインからの新規クラスが各セッションで到着するというより困難なシナリオでは、CMoAは初期段階で性能が低下するが、最終的にはViTおよびアダプタベースラインを上回った。これは、今後の改善の余地があることを示唆している。