[論文レビュー] A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning

Zhenyi Wang, Enneng Yang+2 more|arXiv (Cornell University)|Jul 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本サーベイは、継続的学習の文脈を超えて、深層学習における忘却を二面的現象（有害かつ有益）として再定義する。フェデレーテッドラーニング、生成モデル、ファウンデーションモデルなどの分野における忘却を体系的に分類し、過学習の緩和、バイアスの低減、プライバシーの強化のための意図的な忘却を提唱する。理論的およびクロスディシプリナリーな知見が、今後の研究を導く。

ABSTRACT

Forgetting refers to the loss or deterioration of previously acquired knowledge. While existing surveys on forgetting have primarily focused on continual learning, forgetting is a prevalent phenomenon observed in various other research domains within deep learning. Forgetting manifests in research fields such as generative models due to generator shifts, and federated learning due to heterogeneous data distributions across clients. Addressing forgetting encompasses several challenges, including balancing the retention of old task knowledge with fast learning of new task, managing task interference with conflicting goals, and preventing privacy leakage, etc. Moreover, most existing surveys on continual learning implicitly assume that forgetting is always harmful. In contrast, our survey argues that forgetting is a double-edged sword and can be beneficial and desirable in certain cases, such as privacy-preserving scenarios. By exploring forgetting in a broader context, we present a more nuanced understanding of this phenomenon and highlight its potential advantages. Through this comprehensive survey, we aspire to uncover potential solutions by drawing upon ideas and approaches from various fields that have dealt with forgetting. By examining forgetting beyond its conventional boundaries, we hope to encourage the development of novel strategies for mitigating, harnessing, or even embracing forgetting in real applications. A comprehensive list of papers about forgetting in various research fields is available at \url{https://github.com/EnnengYang/Awesome-Forgetting-in-Deep-Learning}.

研究の動機と目的

• 継続的学習を超えた文脈における深層学習における忘却の包括的理解を提供し、忘却が常に有害であるという仮定に挑戦すること。
• 応用文脈に基づいて、忘却を有害および有益のカテゴリに分類し、モデル性能の向上やプライバシーの向上に寄与する場面を強調すること。
• 連続的学習、フェデレーテッドラーニング、生成モデル、ファウンデーションモデルを含む多様な機械学習分野における忘却のメカニズムを特定および分析すること。
• 過学習の緩和、バイアスの低減、プライバシー保護のためのマシン・アンリーニングを可能にするため、意図的な忘却を戦略的ツールとして提唱すること。
• さまざまな分野からの知見を統合することで、クロスディシプリナリーな研究と理論的分析を促進し、忘却に配慮したモデル設計を前進させること。

提案手法

• 忘却を二重分類する：知識の保持が望ましい状況での有害な忘却、および性能向上やプライバシー向上に寄与する選択的忘却（有益な忘却）。
• 連続的学習、フェデレーテッドラーニング、生成モデル、強化学習を含む10の機械学習分野における忘却を分析し、データ分布のシフトやモデル平均化などの異なる原因を同定する。
• 事前学習における分布シフト、GANにおけるジェネレータシフト、フェデレーテッドラーニングにおける非i.i.d.データなど、忘却が生じるさまざまな要因を理解するフレームワークを提示する。
• 正則化、リハーサル、モデル編集などの既存の忘却管理技術をレビューし、その分野横断的適用可能性に焦点を当てる。
• ファウンデーションモデルが移行可能な忘却ソリューションを可能にし、異なるタスク間で忘却メカニズムを統一する可能性を示唆する。
• メタラーニングやテスト時適応の分野からの類似点や技術を活用し、新しい文脈における忘却の解決を促進するためのクロスディシプリナリー研究を推進する。

実験結果

リサーチクエスチョン

• RQ1 機械学習システムにおいて、忘却が単に有害であるのではなく、どのように有益である可能性があるか？
• RQ2 フェデレーテッドラーニング、生成モデリング、強化学習などの多様な学習パラダイムにおいて、忘却はどのように異なる形で現れるか？
• RQ3 ファウンデーションモデルにおける忘却の背後にある原因は何か？ 連続的学習におけるそれらとはどのように異なるか？
• RQ4 意図的な忘却は、どのようにモデルの一般化性能の向上、バイアスの低減、データプライバシーの保護に活用できるか？
• RQ5 さまざまな学習設定において、忘却を厳密に理解し制御するための理論的基盤は何か？

主な発見

• 忘却は常に有害ではない。プライバシーに配慮した応用では、訓練データの選択的忘却がメンバーシップ推定攻撃を防ぎ、ユーザーのプライバシーを保護する。
• 有益な忘却は、不要またはノイズの多い訓練例を破棄することで過学習を緩和し、モデルの一般化性能と学習効率を向上させる。
• フェデレーテッドラーニングでは、データの非同一性と非i.i.d.なデータ分布が、特にクライアントレベルのデータシフトとモデル平均化によってモデルの忘却を引き起こす。
• 生成モデルでは、訓練中のジェネレータシフトが、以前に学習したデータ分布の忘却を引き起こし、モードカバレッジとサンプル品質に影響を与える。
• ファウンデーションモデルでは、ファインチューニング中に、ダウンストリームタスクにおける分布シフトにより、事前学習で得た知識が劣化する。
• マシン・アンリーニングにおける意図的な忘却は、特定の訓練データの痕跡を効果的に削除でき、プライバシー漏洩を低減しながら残りのデータに対するモデルの有用性を維持する。