[論文レビュー] On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning

Anvith Thudi, Hengrui Jia+2 more|arXiv (Cornell University)|Oct 22, 2021

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

この論文は、現在の機械学習のリセット（unlearning）の定義、特にパラメータ類似度に基づく近似リセットが根本的に誤りであると主張している。なぜなら、同じモデルパラメータは異なるデータセットから得られることがあるため、最終的なモデル重みを調べるだけではリセットが正しく行われたかどうかを検証することが不可能だからである。著者らは、リセットが意味的に検証可能であるためには、アルゴリズムレベルでの検証——つまり、リセット手順自体が検査可能で透明である——ことが不可欠であると結論づけている。

ABSTRACT

Machine unlearning, i.e. having a model forget about some of its training data, has become increasingly more important as privacy legislation promotes variants of the right-to-be-forgotten. In the context of deep learning, approaches for machine unlearning are broadly categorized into two classes: exact unlearning methods, where an entity has formally removed the data point's impact on the model by retraining the model from scratch, and approximate unlearning, where an entity approximates the model parameters one would obtain by exact unlearning to save on compute costs. In this paper, we first show that the definition that underlies approximate unlearning, which seeks to prove the approximately unlearned model is close to an exactly retrained model, is incorrect because one can obtain the same model using different datasets. Thus one could unlearn without modifying the model at all. We then turn to exact unlearning approaches and ask how to verify their claims of unlearning. Our results show that even for a given training trajectory one cannot formally prove the absence of certain data points used during training. We thus conclude that unlearning is only well-defined at the algorithmic level, where an entity's only possible auditable claim to unlearning is that they used a particular algorithm designed to allow for external scrutiny during an audit.

研究の動機と目的

• リッスンされたモデルと再訓練されたモデルの間のパラメータ類似度に依存する、現在の近似リセット定義に内在する根本的欠陥を特定すること。
• 同じパラメータが異なるトレーニングデータから得られるため、モデル重みの単独ではリセットが検証できないことを示すこと。
• パラメータが同一に見えても、それがリセットされたことを形式的に証明できないことを示すこと。
• リセットが正しく実行されたことを保証するには、検査可能な手順——つまり、アルゴリズムレベルでの検証——が不可欠であると主張すること。
• 将来のリセットシステムは、信頼性と規制監査を可能にするために、検査可能で透明なアルゴリズムを設計に組み込むべきだと提言すること。

提案手法

• 『偽造可能性（forgeability）』という概念を導入し、特定のデータポイントを含むか含まないか異なる2つのデータセットが、勾配更新によって同一または非常に類似したモデルパラメータを生成できることを示すこと。
• 異なるミニバッチでの勾配降下ステップが、データポイントが異なっていても同じパラメータ更新をもたらす可能性があることを実証すること。
• 学習の履歴（トレジェクトリ）——最終的なパラメータだけでなく——が学習を定義するため、パラメータベースのリセット検証は本質的に信頼性が低いことを形式化すること。
• 標準的なモデルとデータセットを用いた実験を通じて、ミニバッチ内のトレーニングポイントを置き換えることでリセットを『偽装』できることを示すこと。
• 監査の焦点をモデルパラメータから、検査可能なトレーニングやリセット手順の監査ログといったアルゴリズムプロセスにシフトすべきだと提言すること。
• データの影響が本当に削除されたかどうかを検証するには、リセットのアルゴリズム的実装を精査する必要があると主張すること。

実験結果

リサーチクエスチョン

• RQ1 リッスンされたモデルの最終的パラメータと、該当データポイントを除いて再訓練されたモデルのパラメータを比較することで、リセットを信頼性高く検証できるか？
• RQ2 特定のトレーニングポイントを含むか含まないか異なる2つの異なるデータセットから、同じモデルパラメータを生成することは可能か？
• RQ3 『偽造可能な（forgeable）』データセットの存在が、パラメータ類似度に基づく近似リセット定義の妥当性を損なうか？
• RQ4 モデル重みの点検のみで、データポイントの影響が完全に削除されたことを形式的に証明できるか？
• RQ5 信頼性があり監査可能な機械学習リセットを実現するには、どの抽象化レベル（パラメータ対アルゴリズム）が必要か？

主な発見

• ミニバッチにおける勾配更新の非一意性のため、特定のデータポイントを含むか含まないか異なる2つのデータセットから、同一のモデルパラメータを達成できる。
• 同じパラメータは、異なるトレーニング経路から得られることがあるため、パラメータ類似度だけではリセットを証明できない。
• 再訓練モデルとのパラメータの近さに依存する近似リセット手法は、本質的に欠陥を抱えており、学習済みモデルとリセット済みモデルを区別できない。
• 同じ重みが、データポイントを含むか含まないかにかかわらず得られるため、モデル重みの単独点検ではリセットが検証できない。
• リセットを信頼できる方法で検証するには、検査可能なトレーニング手順やリセットプロセスの検査可能なログといった、アルゴリズム的透明性が必要である。
• 『偽造可能性』の概念は、トレーニングプロセスに制約がない限り、データの影響をモデル行動に帰属づけることが曖昧であることを示しており、公平性や性能分析の根拠を揺るがす。