[論文レビュー] Margin-Based Few-Shot Class-Incremental Learning with Class-Level Overfitting Mitigation

Yixiong Zou, Shanghang Zhang+2 more|arXiv (Cornell University)|Oct 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、正マージン（PM）と負マージン（NM）特徴学習の間で相互監視を導入することにより、クラスレベルの過学習を軽減する新しいマージンベースの少数ショットクラスインクリメンタル学習手法CLOMを提案する。クロスブランチガイドと関係マッピングモジュールによるパターン学習の制約を通じて、CIFAR100、CUB200、miniImageNetで最先端の性能を達成し、新規クラスの一般化性能を向上させつつベースクラスの精度を維持する。

ABSTRACT

Few-shot class-incremental learning (FSCIL) is designed to incrementally recognize novel classes with only few training samples after the (pre-)training on base classes with sufficient samples, which focuses on both base-class performance and novel-class generalization. A well known modification to the base-class training is to apply a margin to the base-class classification. However, a dilemma exists that we can hardly achieve both good base-class performance and novel-class generalization simultaneously by applying the margin during the base-class training, which is still under explored. In this paper, we study the cause of such dilemma for FSCIL. We first interpret this dilemma as a class-level overfitting (CO) problem from the aspect of pattern learning, and then find its cause lies in the easily-satisfied constraint of learning margin-based patterns. Based on the analysis, we propose a novel margin-based FSCIL method to mitigate the CO problem by providing the pattern learning process with extra constraint from the margin-based patterns themselves. Extensive experiments on CIFAR100, Caltech-USCD Birds-200-2011 (CUB200), and miniImageNet demonstrate that the proposed method effectively mitigates the CO problem and achieves state-of-the-art performance.

研究の動機と目的

• マージンベースの少数ショットクラスインクリメンタル学習（FSCIL）における長年のジレンマ、すなわち正マージンはベースクラスの精度を向上させるが新規クラスの一般化性能を損なうという問題を解決すること。
• このジレンマを、共有またはクラス固有のパターンを学習する際に容易に満たされる制約が原因となるクラスレベルの過学習（CO）問題として解釈すること。
• マージンベースのパターン自体から追加の制約を提供することでCOを軽減し、ベースクラスおよび新規クラスの両方の性能を向上させる手法を設計すること。
• PMとNM特徴の間での相互監視が過学習を軽減し、転移性を向上させることを検証すること。

提案手法

• 2つのブランチを導入する：クラス固有のパターンを学習する正マージン（PM）ブランチと、転移可能な共有パターンを学習する負マージン（NM）ブランチ。
• NM特徴からの知識蒸留によってPMパターンを構築し、PM特徴がより強固で一般化可能な表現によってガイドされるようにする。
• クラスレベルの類似性をパターン学習プロセスに埋め込むために関係マッピングモジュールを提案し、クラス関係に基づいた適応的マージン割り当てを可能にする。
• シンプルなパターンと学習済み特徴の類似性を低減するため、CKAに基づく監視を用いた対照学習目的関数を採用し、容易に満たされる制約問題を軽減する。
• 異なるブランチに別々のマージン（正/負）を適用しつつ、ブランチ間の知識蒸留によって特徴の一貫性を維持する。
• 最終的なモデルは、交差エントロピー項と対照項を統合した統一損失関数を用いて、ベースクラスとインクリメンタルクラスの両方を統合的に最適化し、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 FSCILにおけるベースクラス学習に正マージンを適用すると、なぜ新規クラスの一般化性能が悪化するのか？
• RQ2 FSCILにおけるパターン学習の観点から、クラスレベルの過学習（CO）問題を形式的にどのように解釈できるか？
• RQ3 マージンベースのFSCILにおいて、共有またはクラス固有のパターンを学習する際に生じる容易に満たされる制約の原因は何か？
• RQ4 正マージン特徴と負マージン特徴の間での相互監視は、COを効果的に軽減し、ベースクラスおよび新規クラスの両方の性能を向上させることができるか？
• RQ5 関係マッピングモジュールは、クラス類似度に基づいたマージン割り当てを適応的に制御することで、どれほど一般化性能を向上させるか？

主な発見

• 提案手法CLOMは、CIFAR100、CUB200、miniImageNetで最先端の性能を達成し、全クラス精度の観点から既存のFSCIL手法を上回る。
• CIFAR100では、インクリメンタル設定下で78.4%の精度を達成し、正マージンおよび負マージン条件の下でベースライン手法を著しく上回る。
• 通常はベース性能を低下させる傾向がある負マージンを用いても、CLOMは高いベースクラス精度（例：CIFAR100で92.1%）を維持する。
• 提案手法下で、シンプルなパターンとNM/PM特徴間のCKA類似度はそれぞれ0.1427から0.1100に低下し、0.1427から0.1476に上昇する。これにより、過学習の軽減とパターンの複雑さの向上が裏付けられる。
• 実験では、$m_{upper} < m_{ave}$ かつ $m^{P}_{upper} > m^{P}_{ave}$ の条件下で関係マッピングモジュールが性能を向上させることを示しており、適応的マージン制御下で共有およびクラス固有のパターンの学習がより良好に行われていることを示している。
• PMブランチとNMブランチ間の相互監視は、ベースクラスおよび新規クラスの両方における性能低下を効果的に軽減し、COジレンマの緩和が確認された。