[論文レビュー] Assessor-Guided Learning for Continual Environments

M. Anwar Ma’sum, Mahardhika Pratama+3 more|arXiv (Cornell University)|Mar 21, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、連続的学習におけるプラスティシティと安定性のバランスを図るために、順序に配慮したアセッサーを用いてサンプルおよび損失関数（交差エントロピー、DER、知識蒸留）を動的にソフトウェートするメタラーニングベースの継続的学習フレームワーク、Assessor-Guided Learning Approach (AGLA) を提案する。AGLA は、メタラーニングによる動的重み付けと、新規に補正されたオーバーサンプリング（COS）戦略を採用することで、限られたメモリ容量およびクラス不均衡な状況下でも、性能向上と忘却の低減を達成し、クラスインクリメンタルおよびタスクインクリメンタル学習の両設定で最先端の性能を達成する。

ABSTRACT

This paper proposes an assessor-guided learning strategy for continual learning where an assessor guides the learning process of a base learner by controlling the direction and pace of the learning process thus allowing an efficient learning of new environments while protecting against the catastrophic interference problem. The assessor is trained in a meta-learning manner with a meta-objective to boost the learning process of the base learner. It performs a soft-weighting mechanism of every sample accepting positive samples while rejecting negative samples. The training objective of a base learner is to minimize a meta-weighted combination of the cross entropy loss function, the dark experience replay (DER) loss function and the knowledge distillation loss function whose interactions are controlled in such a way to attain an improved performance. A compensated over-sampling (COS) strategy is developed to overcome the class imbalanced problem of the episodic memory due to limited memory budgets. Our approach, Assessor-Guided Learning Approach (AGLA), has been evaluated in the class-incremental and task-incremental learning problems. AGLA achieves improved performances compared to its competitors while the theoretical analysis of the COS strategy is offered. Source codes of AGLA, baseline algorithms and experimental logs are shared publicly in \url{https://github.com/anwarmaxsum/AGLA} for further study.

研究の動機と目的

• 限られたメモリ予算下での継続的学習における災難的忘却とクラス不均衡の問題に対処すること。
• サンプルおよび損失関数を動的に重み付けるメタラーニングベースのアセッサーを設計し、ベースラーナーをガイドすること。
• 各サンプルごとのプラスティシティと安定性のバランスを図ることで、一般化性能と安定性を向上させること。
• 大規模なメモリリプレイに依存するのを減らすために、分布外のサンプルを補正するデータ拡張戦略を導入すること。
• 少量のラベル付きデータやプライバシー制約のある環境（例：少サンプルやファイバレーテッド設定）においても、効果的な継続的学習を可能にすること。

提案手法

• アセッサー・ネットワークをメタラーニングによって訓練し、前向きおよび後向きの転送の可能性を反映するサンプル重みを予測する。
• ベースラーナーの損失関数は、アセッサーによって決定される重み付けに基づく交差エントロピー、ダークエクスペリエンスリプレイ（DER）、知識蒸留損失のメタ重み付き組み合わせである。
• エピソードメモリ内のクラス不均衡を是正するために、補正されたオーバーサンプリング（COS）メカニズムを導入し、拡張処理中に合成サンプルを是正する。
• アセッサーはソフトウェートメカニズムを用い、低損失・前向き転送が期待できる高品質なサンプルに高い影響力を与え、高損失・災難的忘却リスクを伴う低品質なサンプルに低い影響力を与える。
• 時間的文脈を考慮できるように、順序に配慮したアーキテクチャを統合し、タスク間でサンプルの有効性を評価できるようにする。
• 理論的複雑性解析により、AGLA の計算コストは O(eN) であることが示され、e がエポック数、N が全データサイズである。これはデータサイズに線形にスケーリングされ、計算効率が良いことを示している。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングで学習されたアセッサーは、サンプルおよび損失関数の動的重み付けによって継続的学習を効果的にガイドし、性能向上と忘却低減を達成できるか？
• RQ2 提案された補正されたオーバーサンプリング（COS）戦略は、分布外のサンプルを導入せずに、エピソードメモリ内のクラス不均衡をどのように是正するか？
• RQ3 アブレーションスタディにより、アセッサー、COS、損失関数重み付けの各コンポonentが全体の性能に与える影響は何か？
• RQ4 既存の正則化法およびメモリベースの継続的学習手法と比較して、AGLA は限られたメモリ予算下でどのように性能を発揮するか？
• RQ5 ラベル付きデータが乏しい、あるいは存在しない状況下、例えば少サンプルや非教師あり継続的学習設定において、AGLA は一般化可能か？

主な発見

• AGLA は、クラスインクリメンタルおよびタスクインクリメンタル両設定において、4つの継続的学習ベンチマークで最先端の精度を達成し、10の競合手法と比べて顕著な差を示す。
• 非メモリベースのアプローチの中で最も低い平均忘却インデックスを示し、メモリベースの手法に次いで優れた安定性を示している。
• アブレーションスタディにより、アセッサーまたはCOSを削除すると性能が著しく低下することが確認され、これらがフレームワークにおいて極めて重要な役割を果たしていることが裏付けられた。
• 最小限のメモリ予算下でも、AGLA は強力な性能を維持しており、効率性とスケーラビリティが優れていることが示された。
• AGLA の理論的複雑性は O(eN) であり、エポック数が一定であれば、データサイズに線形にスケーリングされるため、計算的にも効率的である。