[論文レビュー] PUMA: Performance Unchanged Model Augmentation for Training Data Removal

Ga Wu, Masoud Hashemi+1 more|arXiv (Cornell University)|Mar 2, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

PUMA は、再訓練を伴わずに、深層学習モデルからマークされたトレーニングデータポイントの識別可能な特徴を除去するための新しい手法を導入する。制約付き最適化を用いて残存データを再重み付けすることで、モデル性能を維持する。これは、再訓練や従来の削除手法よりも効率的かつ精度保持に優れ、メンバーシップ推定攻撃に対して効果的に耐性を示す。

ABSTRACT

Preserving the performance of a trained model while removing unique characteristics of marked training data points is challenging. Recent research usually suggests retraining a model from scratch with remaining training data or refining the model by reverting the model optimization on the marked data points. Unfortunately, aside from their computational inefficiency, those approaches inevitably hurt the resulting model's generalization ability since they remove not only unique characteristics but also discard shared (and possibly contributive) information. To address the performance degradation problem, this paper presents a novel approach called Performance Unchanged Model Augmentation~(PUMA). The proposed PUMA framework explicitly models the influence of each training data point on the model's generalization ability with respect to various performance criteria. It then complements the negative impact of removing marked data by reweighting the remaining data optimally. To demonstrate the effectiveness of the PUMA framework, we compared it with multiple state-of-the-art data removal techniques in the experiments, where we show the PUMA can effectively and efficiently remove the unique characteristics of marked training data without retraining the model that can 1) fool a membership attack, and 2) resist performance degradation. In addition, as PUMA estimates the data importance during its operation, we show it could serve to debug mislabelled data points more efficiently than existing approaches.

研究の動機と目的

• 訓練済みモデルから一意なデータ特徴を除去する課題に取り組み、性能を維持すること。
• データ削除後に再訓練を実施する際の計算上の非効率性と性能の低下を克服すること。
• マークされたデータポイントを削除した後も、モデルの一般化性能およびキャリブレーションを維持する手法を開発すること。
• オンライン機械学習サービスにおけるデータ削除要請に対して、効率的かつリアルタイムに対応できること。
• 誤ラベル化されたデータや問題のある予測を検出・デバッグできるフレームワークを提供すること。

提案手法

• PUMA は、トレーニング目的以外のさまざまな基準を用いて、各トレーニングデータポイントがモデル性能に与える影響をモデル化する。
• マークされたデータを削除した際の悪影響を相殺するために、残存データポイントの再重み付けを目的とした制約付き最適化問題を定式化する。
• 再重み付けはスパースかつ最適であり、完全な再訓練を伴わずに元のモデルに線形パッチとして適用される。
• 期待キャリブレーション誤差（ECE）などの性能基準を最適化のガイドラインとして用い、モデルの頑健性を確保する。
• 影響関数と勾配ベース推定を活用してデータの重要度を評価し、再重み付けの指針とする。
• PUMA は、ECE や精度などの異なる性能指標を用いることで、さまざまなモデルのキャリブレーションや耐性要件に適合可能である。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わずして、モデル性能を維持したままデータ削除が可能か？
• RQ2 残存データの再重み付けによって、マークされたデータ削除がもたらす悪影響をどのように相殺できるか？
• RQ3 PUMA は、データ固有の特徴を効果的に隠蔽し、メンバーシップ推定攻撃に耐性を示せるか？
• RQ4 PUMA は、モデルのキャリブレーション向上および誤ラベル化や問題のある予測の検出にどの程度寄与するか？
• RQ5 PUMA は、オンライン機械学習サービスにおけるリアルタイムのデータ削除にスケーラブルかつ効果的か？

主な発見

• PUMA は、性能の低下なしに、一意なデータ特徴を除去することでメンバーシップ推定攻撃を効果的に欺く。
• PUMA の適用後、モデルの期待キャリブレーション誤差（ECE）が顕著に低下し、予測の信頼性が向上している。
• PUMA は、誤ラベル化されたデータポイント、過信度の高い予測、過度に不確実な予測を高い精度で特定・分離する。
• マークされたデータポイントを削除した後も、PUMA は元のモデルと同等のモデル性能を維持する。
• PUMA は、再訓練や従来の削除手法に比べ、効率性と性能保持の両面で優れている。
• フレームワークにより、完全な再訓練を伴わずして、キャリブレーションの不備やラベルエラーなどのモデルの問題をデバッグ可能である。