[論文レビュー] FG-OrIU: Towards Better Forgetting via Feature-Gradient Orthogonality for Incremental Unlearning

Qian Feng, Jiahang Tu+4 more|arXiv (Cornell University)|Jan 20, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

FG-OrIUは、特徴表現と勾配の両方に直交性制約を課すことで、SVDベースの部分空間とLoRAを用いて深く不可逆な忘却を実現し、残りの知識を保持します。

ABSTRACT

Incremental unlearning (IU) is critical for pre-trained models to comply with sequential data deletion requests, yet existing methods primarily suppress parameters or confuse knowledge without explicit constraints on both feature and gradient level, resulting in extit{superficial forgetting} where residual information remains recoverable. This incomplete forgetting risks security breaches and disrupts retention balance, especially in IU scenarios. We propose FG-OrIU ( extbf{F}eature- extbf{G}radient extbf{Or}thogonality for extbf{I}ncremental extbf{U}nlearning), the first framework unifying orthogonal constraints on both features and gradients level to achieve deep forgetting, where the forgetting effect is irreversible. FG-OrIU decomposes feature spaces via Singular Value Decomposition (SVD), separating forgetting and remaining class features into distinct subspaces. It then enforces dual constraints: feature orthogonal projection on both forgetting and remaining classes, while gradient orthogonal projection prevents the reintroduction of forgotten knowledge and disruption to remaining classes during updates. Additionally, dynamic subspace adaptation merges newly forgetting subspaces and contracts remaining subspaces, ensuring a stable balance between removal and retention across sequential unlearning tasks. Extensive experiments demonstrate the effectiveness of our method.

研究の動機と目的

• 進化するデータ削除要求の下で事前学習済みビジョンモデルに対する真の忘却の必要性を動機づける。
• 残留情報の回復を防ぐために、特徴表現と勾配更新の両方で忘却を強制する統一フレームワークを提案する。
• 逐次タスクを跨いで忘却空間を拡大し、残りの空間を縮小させる動的サブスペース適応メカニズムを開発する。
• FG-OrIUの有効性と頑健性をMUおよびIUベンチマークで、強力なベースラインに対して示す。

提案手法

• 各レイヤーの特徴空間をSVDで忘却サブスペースと残りサブスペースに分解し、主特異ベクトルを用いてサブスペースを定義する。
• 軽量なLoRAモジュールを挿入し、二重直交射影を適用する： (a) 特徴レベルで直交化して特徴を忘却し、残りの特徴を保持、(b) 勾配レベルで射影して忘却された概念からの更新を外れさせ、保持知識を損なわないようにする。
• 忘却特徴（fop-f）と残存特徴（fop-r）を明示的な損失項として課し、残存クラスの標準的なクロスエントロピーを併用することで、調整可能な重みを持つ総損失を生成する。
• 逆伝搬される更新を変更する勾配直交射影を適用し、忘却知識を再導入したり残存クラスの特徴を妨げたりしない方向に更新を保つ。
• 各忘却タスク後に新しい忘却サブスペースを統合し、残りサブスペースを縮小させることで、動的にサブスペースを適応させ、タスクを跨ぐ安定した忘却を実現する。

Figure 1 : Here, we present three examples from forgetting classes, with the reconstructed images generated using Deep Image Prior (DIP) [ 59 ] , where the last block’s features from the unlearned model serve as the training target.

実験結果

リサーチクエスチョン

• RQ1 特徴と勾配のデュアル直交制約は、従来のMU/IUアプローチより深い忘却を達成できるか。
• RQ2 SVDベースの特徴サブスペース分解とLoRA組み込み更新をどう組み合わせて、逐次タスクを跨いだ忘却対象クラスと他クラスの保持のバランスを取るか。
• RQ3 動的サブスペース適応は、複数の忘却タスクを通じて残存クラスの性能を維持しつつ不可逆的な忘却を保証できるか。
• RQ4 FG-OrIUは視覚モデルのMUおよびIUの標準ベンチマークで、GS-LoRAや様々な継続/忘却ベースの手法と比較してどの程度優れているか。

主な発見

• FG-OrIUはMUおよびIUベンチマークで、ターゲットクラスを不可逆に削除しつつ残存クラスの性能を保持する深い忘却を達成する。
• 逐次忘却タスクを通じて、全体のバランス指標（H-Mean）と残存クラスの精度保持でベースラインを上回る。
• アブレーションにより、特徴と勾配の直交成分（fop-f, fop-r, gop-f, gop-r）の両方が性能に寄与し、忘却の削除は結果を劣化させる。
• 動的サブスペース適応は、忘却サブスペースを効果的に拡大し、残りのサブスペースを縮小して、 retained knowledgeの過度な劣化を避けつつ忘却を継続的に維持する。
• ImageNet-100、CASIA-Face100、その他のベンチマークで、FG-OrIUがGS-LoRAなどの手法や様々な継続/忘却ベースのベースラインより優れていることを示す。

Figure 2 : Overview of FG-OrIU: (a) For each unlearning task, we decompose the layer-wised- forgetting and remaining subspace separately (Sec. 4.1 ). (b) LoRA is inserted at each layer, with constraints applied at both the feature and gradient levels for forgetting and remaining (Sec. 4.2 ). (c) For