[論文レビュー] On The Relationship Between Continual Learning and Long-Tailed Recognition

Mahdiyar Molahasani, Michael Greenspan+1 more|arXiv (Cornell University)|Jun 23, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、ヘッドクラスを最初に学習し、その後でテイルクラスを段階的に学習しながら忘却を防ぐことで、長尾認識（LTR）を改善する統合フレームワークを提案する。理論的には、強い凸性のもとで、フルデータセットの重みはヘッドクラスのみの重みから有界な距離内に収束する。実験的に、CIFAR100-LT、CIFAR10-LT、および現実世界のCaltech256データセットにおいて、標準的なCL手法がSOTAのLTRモデルを上回る性能を示した。

ABSTRACT

Real-world datasets often exhibit long-tailed distributions, where a few dominant "Head" classes have abundant samples while most "Tail" classes are severely underrepresented, leading to biased learning and poor generalization for the Tail. We present a theoretical framework that reveals a previously undescribed connection between Long-Tailed Recognition (LTR) and Continual Learning (CL), the process of learning sequential tasks without forgetting prior knowledge. Our analysis demonstrates that, for models trained on imbalanced datasets, the weights converge to a bounded neighborhood of those trained exclusively on the Head, with the bound scaling as the inverse square root of the imbalance factor. Leveraging this insight, we introduce Continual Learning for Long-Tailed Recognition (CLTR), a principled approach that employs standard off-the-shelf CL methods to address LTR problems by sequentially learning Head and Tail classes without forgetting the Head. Our theoretical analysis further suggests that CLTR mitigates gradient saturation and improves Tail learning while maintaining strong Head performance. Extensive experiments on CIFAR100-LT, CIFAR10-LT, ImageNet-LT, and Caltech256 validate our theoretical predictions, achieving strong results across various LTR benchmarks. Our work bridges the gap between LTR and CL, providing a principled way to tackle imbalanced data challenges with standard existing CL strategies.

研究の動機と目的

• データの不均衡によりヘッドクラスが訓練において優位になる長尾データセットにおいて、レアクラスの性能が低いという課題に対処する。
• 強い凸性のもとで、フルデータセットの重みがヘッドクラスのみの重みから有界な距離内に保たれることを理論的に正当化することで、LTRにおけるCLの適用を裏付ける。
• CL手法を用いることで、ヘッド知識の災難的忘却を防ぎつつ、テイルクラスを効果的に学習できることを示す。
• 合成データ（MNIST-LT）、ベンチマーク（CIFAR100-LT、CIFAR10-LT）、および現実世界のデータ（Caltech256）の長尾データセットにおいて、本手法の有効性を検証する。
• 自然に不均衡なデータにおいて、特化したSOTAのLTRモデルを上回る性能を、標準的なCL技術が達成できることを示す。

提案手法

• 強い凸性のもとで、フルデータセット学習の重みベクトルが、ヘッドクラスのみの重みベクトルから、不均衡要因に比例し、強い凸性パラメータに反比例する距離内に収束することを示す定理を提唱する。
• LTRを2段階の連続的学習問題として定式化する：まずヘッドセットで学習し、次にCL手法を用いてテイルセットを段階的にファインチューニングする。
• Elastic Weight Consolidation（EWC）、Knowledge Distillation、Gradient Path Method（GPM）などの標準的なCLアルゴリズムを適用し、テイルクラスの更新時にヘッド性能を維持する。
• 修正版EWCを用いて、重み更新の方向のみを制約することで、制約を緩めつつも均一な重み分布を実現し、柔軟性を保つ。
• バランスの取れたテスト精度を用いて性能を評価し、CLベースのモデルをSOTAのLTRベースラインや損失正則化手法と比較する。
• MNIST-LT（おもちゃ用）、CIFAR100-LT および CIFAR10-LT（ベンチマーク）、Caltech256（現実世界）を対象とし、さまざまな不均衡要因を想定して実験を実施する。

Figure 1: An overview of learning under the LTR scenario and our proposed algorithm is presented. Detailed description provided in text.

実験結果

リサーチクエスチョン

• RQ1 強い凸性のもとで、フルデータセットとヘッドクラスのみの学習における重み距離の理論的上限が、制御された環境で実証的に検証可能か？
• RQ2 明示的な再バランスや損失の修正なしに、標準的な連続的学習手法が長尾認識の性能をどの程度向上できるか？
• RQ3 自然に不均衡な現実世界のデータセット（例：Caltech256）にCLを適用することで、SOTAの非CLモデルを上回る性能が得られるか？
• RQ4 標準ベンチマークにおいて、CLベースのLTRは、特化した損失ベースやデータ再バランス手法と比較して、どの程度優れているか？
• RQ5 実際の非凸的な深層学習損失関数において、強い凸性の仮定は必要不可欠か、それともCL手法はこの条件が緩和されても有効に機能するか？

主な発見

• MNIST-LTでは、ヘッドクラスのみとフルデータセットの重みベクトル間の実際の距離が、理論的な上界に非常に近づき、定理の妥当性が裏付けられた。
• CIFAR100-LT および CIFAR10-LT において、CL手法はベースラインモデルを上回り、タスク特化の損失修正なしにSOTAのLTR手法に近づいたり、それを上回る性能を達成した。
• 修正版EWCを用いたCL手法は、CIFAR100-LT においてResNet101で87.56%、Inception V4で88.9%のトップ1精度を達成し、ResNet101におけるSOTAのTransTailor（87.3%）を上回った。
• 自然に不均衡なCaltech256データセット（不均衡要因＞10）においても、CLベースの手法が最先端の非CLモデルを上回り、現実世界への応用可能性を示した。
• 強い凸性の仮定が緩和されても、CL手法は依然として有効であり、非凸的な深層学習損失関数に対しても頑健であることが示された。
• GPMベースのCLは、明示的なペナルティを課さずに均一な重み分布を達成した。これは、CLが長尾設定において本質的にバランスの取れた学習を促進することを示唆している。

Figure 2: The distance between $\theta^{*}$ and $\theta^{*}_{H}$ in different IF and $\mu$ .