[論文レビュー] Backdoor Defense, Learnability and Obfuscation

Paul F. Christiano, Jacob Hilton+2 more|arXiv (Cornell University)|Sep 4, 2024

Adversarial Robustness in Machine Learning被引用数 1

ひとこと要約

この論文は、攻撃者がランダムに選ばれたトリガーに対して成功しなければならないため、学習よりも防御が厳密に簡単になるように、バックドア防御可能性の形式的ゲーム理論枠組みを導入する。統計的防御可能性はVC次元に依存するが、計算的防御可能性はPAC学習可能性とは分離する——多項式サイズの決定木は学習より速やかに防御可能であるが、暗号的仮定のもとでは多項式サイズの回路は効率的に防御できないことを示している。

ABSTRACT

We introduce a formal notion of defendability against backdoors using a game between an attacker and a defender. In this game, the attacker modifies a function to behave differently on a particular input known as the "trigger", while behaving the same almost everywhere else. The defender then attempts to detect the trigger at evaluation time. If the defender succeeds with high enough probability, then the function class is said to be defendable. The key constraint on the attacker that makes defense possible is that the attacker's strategy must work for a randomly-chosen trigger. Our definition is simple and does not explicitly mention learning, yet we demonstrate that it is closely connected to learnability. In the computationally unbounded setting, we use a voting algorithm of Hanneke et al. (2022) to show that defendability is essentially determined by the VC dimension of the function class, in much the same way as PAC learnability. In the computationally bounded setting, we use a similar argument to show that efficient PAC learnability implies efficient defendability, but not conversely. On the other hand, we use indistinguishability obfuscation to show that the class of polynomial size circuits is not efficiently defendable. Finally, we present polynomial size decision trees as a natural example for which defense is strictly easier than learning. Thus, we identify efficient defendability as a notable intermediate concept in between efficient learnability and obfuscation.

研究の動機と目的

• 攻撃者と防御者の間のゲームとしてバックドア防御可能性を形式化し、攻撃者がランダムに選ばれたトリガーに対して成功しなければならないようにする。
• 統計的および計算的設定における防御可能性、学習可能性、およびオブfuscationの関係を調査する。
• 防御が学習よりも厳密に簡単になる自然な関数クラス（例えば多項式サイズの決定木）を同定する。
• 特に、不定識別オブfuscationの存在下での効率的防御可能性の限界を調査する。
• バックドア防御と人工知能におけるアライメント問題、特に偽装アライメント（deceptive alignment）との関連を描く。

提案手法

• 攻撃者が関数を変更し、ランダムに選ばれたトリガーに対して異なる挙動を示す一方で、防御者が推論時にそれを検出しなければならないゲーム理論的モデルを提案する。
• Hannekeら（2022）の投票アルゴリズムを用いて、統計的防御可能性が関数クラスのVC次元によって決定されることを示す。
• 効率的防御可能性を計算複雑性の概念として導入し、効率的PAC学習可能性によって示唆されるが、それと等価ではないことを示す。
• パuncturable擬似乱数関数および不定識別オブfuscationを用いて、標準的な暗号的仮定のもとで多項式サイズの回路は効率的に防御できないことを証明する。
• 一回の評価時間に比例する時間で実行される多項式サイズの決定木の実行時防御を構築し、学習より速やかに防御可能であることを示す。
• これらの結果が、特に偽装アライメントの検出において、AIアライメントに与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 元のモデルとバックドア付きモデルとの間の対称性がある中で、防御が可能であるような形式的定義を、防御可能性に与える影響を明確にできるか？
• RQ2 特にVC次元の観点から、防御可能性は統計的学習可能性とどのように関係するか？
• RQ3 効率的防御可能性は、効率的PAC学習可能性よりも厳密に弱いか、それとも等価か？
• RQ4 多項式サイズの決定木のような関数クラスは、学習よりも効率的に防御可能か？
• RQ5 オブfuscationは、特にニューラルネットワークのアライメント文脈において、効率的防御可能性をどの程度妨げるか？

主な発見

• 統計的防御可能性は ε = o(1/VC(F)) と等価であり、無限大設定下では防御可能性がVC次元によって決定されることを示す。
• 効率的PAC学習可能性は効率的防御可能性を示唆するが、逆は成り立たないため、計算的設定下では防御が学習よりも厳密に簡単であることが示される。
• 標準的な暗号的仮定のもとで、多項式サイズの回路のクラスは効率的に防御できない。これは不定識別オブfuscationの存在によるものである。
• 多項式サイズの決定木は、一様な入力分布設定下で効率的に防御可能であり、一回の評価時間で実行される防御が可能である。
• これらの結果は、機械的防御（内部モデルメカニズムの検出に基づく）が、アライメント文脈における学習ベースの防御よりもより頑健である可能性を示唆する。
• この枠組みは、特に偽装アライメントの文脈において、AIアライメントにおけるバックドア検出を形式的に分析する基盤を提供する。