[論文レビュー] Efficient Attribute Unlearning: Towards Selective Removal of Input Attributes from Feature Representations

Tao Guo, Song Guo+3 more|arXiv (Cornell University)|Feb 27, 2022

Face recognition and analysis被引用数 7

ひとこと要約

本論文は、相互情報量を用いて段階的な分離をガイドすることで、訓練中に特定の入力属性（例：眼鏡や年齢）を学習された特徴表現から選択的に削除する、新たな機械学習のアンラーニングパラダイム「属性アンラーニング」を導入する。この手法は、最小限の性能低下で高いアンラーニング効果を達成し、タスクに必要な特徴を保持したままプライバシー保護型のモデル訓練を可能にする。

ABSTRACT

Recently, the enactment of privacy regulations has promoted the rise of the machine unlearning paradigm. Existing studies of machine unlearning mainly focus on sample-wise unlearning, such that a learnt model will not expose user's privacy at the sample level. Yet we argue that such ability of selective removal should also be presented at the attribute level, especially for the attributes irrelevant to the main task, e.g., whether a person recognized in a face recognition system wears glasses or the age range of that person. Through a comprehensive literature review, it is found that existing studies on attribute-related problems like fairness and de-biasing learning cannot address the above concerns properly. To bridge this gap, we propose a paradigm of selectively removing input attributes from feature representations which we name `attribute unlearning'. In this paradigm, certain attributes will be accurately captured and detached from the learned feature representations at the stage of training, according to their mutual information. The particular attributes will be progressively eliminated along with the training procedure towards convergence, while the rest of attributes related to the main task are preserved for achieving competitive model performance. Considering the computational complexity during the training process, we not only give a theoretically approximate training method, but also propose an acceleration scheme to speed up the training process. We validate our method by spanning several datasets and models and demonstrate that our design can preserve model fidelity and reach prevailing unlearning efficacy with high efficiency. The proposed unlearning paradigm builds a foundation for future machine unlearning system and will become an essential component of the latest privacy-related legislation.

研究の動機と目的

• 既存の機械学習のアンラーニング手法がサンプルレベルの忘却にのみ焦点を当てており、属性レベルでの選択的除去には対応していないというギャップを埋める。
• 主なタスクのパフォーマンスに影響を与えることなく、不要または感受性の高い属性（例：顔の眼鏡、年齢）を学習された特徴表現から正確に分離可能にする。
• 理論的根拠に基づき、計算効率が高く、モデル訓練中に特定の属性を段階的にアンラーニングできる訓練手法を開発する。
• 属性アンラーニングがスケーラブルであり、GDPR や CCPA などの実世界のプライバシー規制と整合可能であることを保証する。

提案手法

• 入力属性と特徴表現間の相互情報量を用いて、アンラーニングの対象となる感受性の高い属性を同定・分離する。
• 訓練中に主な特徴空間からターゲット属性を段階的に分離するための表現分離モジュールを導入する。
• 相互情報量の損失を効率的に推定することで計算複雑性を低減する近似技術を提案し、スケーラブルな訓練を可能にする。
• 標準的なディープラーニングパイプラインに統合可能で、最小限のアーキテクチャ変更でエンドツーエンド訓練をサポートする。
• 属性分離を促進すると同時にタスク関連特徴を保持するように、専用の損失関数を用いて訓練プロセスを最適化する。
• 特に大規模データセットにおいて収束を高速化するための高速化スキームを導入する。

実験結果

リサーチクエスチョン

• RQ1 主なタスクのパフォーマンスを劣化させることなく、学習された特徴表現から特定の入力属性を選択的に削除することは可能か？
• RQ2 入力属性と特徴表現間の相互情報量をどのように活用してアンラーニングプロセスをガイドできるか？
• RQ3 計算負荷を低く抑えつつ、スケーラブルで効率的な訓練手法を用いて段階的な属性アンラーニングを実現する方法は何か？
• RQ4 属性アンラーニングは、感受性の高い属性を削除しながら、どの程度モデルの忠実性を維持できるか？

主な発見

• 提案手法は、訓練中にターゲット属性（例：眼鏡、年齢）を特徴表現から高い精度で分離することに成功した。
• 主な分類タスクにおけるモデルパフォーマンスが競争力を持ち、アンラーニング後も精度の低下が最小限に抑えられた。
• 相互情報量損失の計算に用いる近似手法により、トレーニング時間を顕著に短縮したが、アンラーニング効果は維持された。
• 複数のデータセットおよびモデルを用いた広範な実験により、実世界の環境下でも本手法の頑健性とスケーラビリティが確認された。
• 従来の公平性向上およびバイアス除去手法では保証されない特定属性の明示的除去において、本手法が優れた性能を示した。
• 本フレームワークは、モデル表現から個人的属性を選択的に削除する必要があるプライバシー規制への準拠基盤を提供する。