[論文レビュー] DualHSIC: HSIC-Bottleneck and Alignment for Continual Learning

Zifeng Wang, Zheng Zhan+5 more|arXiv (Cornell University)|Apr 30, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

DualHSIC は、再利用ベースのモデルを向上させるために二つの HSIC に基づくコンponent を導入する、継続的学習のための新規手法である。HSIC-Bottleneck for Rehearsal (HBR) は、タスク間干渉を低減するためのものであり、HSIC アライメント (HA) は、タスクに依存しない知識共有を促進するためのものである。この手法は、最先端の再利用ベース手法を最大で 7.6% 向上させ、正則化を強化したベースラインを最大で 6.5% 超える。特に、小さなバッファ設定下でも顕著な性能向上を示す。

ABSTRACT

Rehearsal-based approaches are a mainstay of continual learning (CL). They mitigate the catastrophic forgetting problem by maintaining a small fixed-size buffer with a subset of data from past tasks. While most rehearsal-based approaches study how to effectively exploit the knowledge from the buffered past data, little attention is paid to the inter-task relationships with the critical task-specific and task-invariant knowledge. By appropriately leveraging inter-task relationships, we propose a novel CL method named DualHSIC to boost the performance of existing rehearsal-based methods in a simple yet effective way. DualHSIC consists of two complementary components that stem from the so-called Hilbert Schmidt independence criterion (HSIC): HSIC-Bottleneck for Rehearsal (HBR) lessens the inter-task interference and HSIC Alignment (HA) promotes task-invariant knowledge sharing. Extensive experiments show that DualHSIC can be seamlessly plugged into existing rehearsal-based methods for consistent performance improvements, and also outperforms recent state-of-the-art regularization-enhanced rehearsal methods. Source code will be released.

研究の動機と目的

• 再利用ベースの手法の表現学習を改善することで、継続的学習における深刻な忘却の問題に取り組む。
• バッファに格納されたデータからのタスク固有のノイズを除去することで、継続的学習中のタスク間干渉を軽減する。
• 異なるタスク間で共通する特徴を学習するように促すことで、知識の共有を強化する。
• 既存の再利用フレームワークに適合する一般化可能で、即座に統合可能なソリューションを提供する。
• ヒルベルト＝シュミット独立性基準 (HSIC) を用いた表現の分離に、継続的学習における応用を体系的かつ包括的に探求する。

提案手法

• DualHSIC は、再利用のための HSIC ボトルネック (HBR) を導入し、HSIC を用いてバッファに格納された特徴とタスク固有のラベルの統計的依存性を最小化することで、現在のタスク固有の知識による干渉を抑制する。
• また、現在のタスクと過去のタスクの特徴間の統計的依存性を最大化する HSIC アライメント (HA) を採用し、共有され、タスクに依存しない表現の学習を促進する。
• HBR は、中間層の活性化にわたるマルチレイヤード損失を用いて、タスク固有の干渉の抑制を強化する。
• HA は、投影ヘッドを用いた単一レイヤード損失を用い、タスク間での表現のアライメントを図り、肯定的な知識の転送を促進する。
• 本手法は、既存の再利用ベースのフレームワークへのスムーズな統合を設計しており、アーキテクチャの大幅な変更は不要である。
• 損失関数はトレーニング中にエンドツーエンドで最適化され、HBR と HA が過去および現在のタスクの両方の表現品質を統合的に向上させる。

実験結果

リサーチクエスチョン

• RQ1 HSIC に基づく正則化は、継続的学習におけるタスク間干渉を効果的に低減できるか？
• RQ2 HSIC に基づくアライメントは、連続するタスク間でタスクに依存しない知識を共有するのを改善できるか？
• RQ3 DualHSIC は、既存の再利用ベースの継続的学習手法に統合された場合、どのように性能を示すか？
• RQ4 小さなバッファサイズ下でも、DualHSIC は性能向上を維持できるか？（データ効率が重要な状況下）
• RQ5 HBR と HA のコンponent において、マルチレイヤード損失と単一レイヤード損失の貢献は何か？

主な発見

• DualHSIC は、複数のベンチマークで最先端の再利用ベース手法を最大で 7.6% 向上させ、優れた一般化性能を示している。
• 正則化を強化したより強力な再利用ベース手法を最大で 6.5% 超える。特に、小さなバッファサイズ下で顕著な性能向上を示している。
• HBR は t-SNE 視覚化においてクラスの重なりを顕著に低減しており、時間の経過とともに過去のタスク表現の保存が良好であることが示されている。
• アブレーションスタディにより、HBR と HA の両方において、投影ヘッドと対称的損失項が最適性能を達成するために不可欠であることが確認された。
• マルチレイヤード HBR は、より深い監視により性能向上をもたらすが、単一レイヤード HA は十分に機能し、計算コストを削減する。
• DualHSIC は、バッファ容量が限られている状況でも強力な性能を維持しており、高いデータ効率を示している。