[論文レビュー] Planting Undetectable Backdoors in Machine Learning Models

Shafi Goldwasser, Michael P. Kim+2 more|arXiv (Cornell University)|Apr 14, 2022

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

この論文は、悪意ある機械学習サービスポビダーが、最小限の入力摂動で予測をリモート制御できる検出不能なバックドアを訓練済みモデルに埋め込む方法を示している。デジタル署名または暗号的仮定に基づくランダム特徴量学習を用いることで、白색ボックス分析下でも、バックドアは計算的にクリーンなモデルと区別不能であり、外部委託学習における信頼を損なう。

ABSTRACT

Given the computational cost and technical expertise required to train machine learning models, users may delegate the task of learning to a service provider. We show how a malicious learner can plant an undetectable backdoor into a classifier. On the surface, such a backdoored classifier behaves normally, but in reality, the learner maintains a mechanism for changing the classification of any input, with only a slight perturbation. Importantly, without the appropriate "backdoor key", the mechanism is hidden and cannot be detected by any computationally-bounded observer. We demonstrate two frameworks for planting undetectable backdoors, with incomparable guarantees. First, we show how to plant a backdoor in any model, using digital signature schemes. The construction guarantees that given black-box access to the original model and the backdoored version, it is computationally infeasible to find even a single input where they differ. This property implies that the backdoored model has generalization error comparable with the original model. Second, we demonstrate how to insert undetectable backdoors in models trained using the Random Fourier Features (RFF) learning paradigm or in Random ReLU networks. In this construction, undetectability holds against powerful white-box distinguishers: given a complete description of the network and the training data, no efficient distinguisher can guess whether the model is "clean" or contains a backdoor. Our construction of undetectable backdoors also sheds light on the related issue of robustness to adversarial examples. In particular, our construction can produce a classifier that is indistinguishable from an "adversarially robust" classifier, but where every input has an adversarial example! In summary, the existence of undetectable backdoors represent a significant theoretical roadblock to certifying adversarial robustness.

研究の動機と目的

• 外部委託学習における信頼できない機械学習サービスポビダーのリスクを調査すること。
• バックドアが強力な白色ボックス攻撃者に対しても検出不能であるようなモデルに植え付けられることを実証すること。
• このようなバックドアが後処理を経ても存続し、外部の観測者が再現できないこと。
• 「頑健性」を持つモデルが検出不能なバックドアを受容できることを示し、敵対的頑健性の理論的基盤を揺るがすこと。

提案手法

• デジタル署名方式を用いて、クエリアクセス下で元のモデルと計算的に区別不能なバックドアを構築し、両モデルが異なる入力を特定できなくなるように保証する。
• この手法は非再現性を保証する：バックドア付きモデルとその出力への完全なアクセスがあっても、攻撃者は新たなバックドア付き入力を生成できない。
• ランダムフーリエ特徴量（RFF）の場合、トレーニング中に使用されるランダムシードのみを改ざんすることでバックドアを挿入し、アルゴリズムの正しさを保持する。
• RFFベースのバックドアのセキュリティは、連続的学習誤り問題（CLWE）の困難さに依存する。
• 同様の構成が、スパースPCAの困難さに基づくランダムReLUネットワークに対しても示されている。
• 訓練データおよびモデルアーキテクチャの完全な知識があっても、効率的な区別者ではバックドアの存在を検出できないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 悪意あるサービスポビダーは、計算的に制限された観測者にとって検出不能なバックドアを機械学習モデルに埋め込むことができるか？
• RQ2 検出不能かつ非再現可能なバックドアを構築することは可能か？特に、攻撃者が新たなバックドア付き入力を生成できないようにするか？
• RQ3 ランダムフーリエ特徴量の枠組みで訓練されたモデルに対しても、白色ボックス分析下で検出不能なバックドアを構築できるか？
• RQ4 検出不能なバックドアの存在が、機械学習モデルの敵対的頑健性に関する理論的保証を根底から揺るがすか？
• RQ5 CLWEやスパースPCAの困難さといった暗号的仮定を用いて、このようなバックドアのセキュリティを形式的に証明できるか？

主な発見

• 提案されたバックドア機構は、元のモデルと計算的に区別不能である：完全なクエリアクセスがあっても、効率的な区別者は差を検出できない。
• バックドア付きモデルは、元のモデルと同等の一般化誤差を維持しており、標準的な評価において信頼できるように見える。
• この構成により非再現性が保証される：モデルとその挙動への完全なアクセスがあっても、攻撃者は新たなバックドア付き入力を生成できない。
• RFFベースのモデルでは、訓練データおよびモデルアーキテクチャの完全な知識を持つ白色ボックス区別者に対しても、バックドアは検出不能である。
• RFFベースのバックドアのセキュリティは、連続的学習誤り（CLWE）問題の困難さに基づいて形式的に証明されている。
• この論文は、『敵対的頑健性』を持つモデルですら、検出不能な方法でバックドアを仕掛けられることを示しており、頑健性の認証における根本的な限界を暴露している。