[論文レビュー] Constrained Optimization with Dynamic Bound-scaling for Effective NLPBackdoor Defense

Guangyu Shen, Yingqi Liu+6 more|arXiv (Cornell University)|Feb 11, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本論文は、トークン埋め込みの温度スケジューリング付きソフトマックスを用いたトリガーの逆方向推定を通じて、動的バウンドスケーリング最適化手法を提案する。温度を徐々に低下させることで損失のランドスケープを鋭くし、局所最適解から脱出するためのロールバック機構を用いることで、バックドアを効果的に検出・除去する。3つのタスクと4種類の攻撃タイプにおいて1,600以上のモデルを対象に、ベースライン比最大43.4%高い検出精度を達成した。

ABSTRACT

We develop a novel optimization method for NLPbackdoor inversion. We leverage a dynamically reducing temperature coefficient in the softmax function to provide changing loss landscapes to the optimizer such that the process gradually focuses on the ground truth trigger, which is denoted as a one-hot value in a convex hull. Our method also features a temperature rollback mechanism to step away from local optimals, exploiting the observation that local optimals can be easily deter-mined in NLP trigger inversion (while not in general optimization). We evaluate the technique on over 1600 models (with roughly half of them having injected backdoors) on 3 prevailing NLP tasks, with 4 different backdoor attacks and 7 architectures. Our results show that the technique is able to effectively and efficiently detect and remove backdoors, outperforming 4 baseline methods.

研究の動機と目的

• 構造的および言い換えベースのトリガーによりますます隠蔽化が進むNLPモデルにおけるバックドアの検出と除去の課題に対処すること。
• トークン空間の離散的・スパースな性質により、従来のバックドア逆方向推定手法が失敗するという限界を克服すること。
• 複雑で適応的な攻撃に対しても、真のトリガーを信頼性高く特定できる強固な最適化フレームワークを開発すること。
• クリーンデータにおける精度の低下を最小限に抑えつつ、実世界のNLPシステムへの実用的導入を可能にするバックドア除去を実現すること。

提案手法

• 各トークンが語彙内すべてのトークンの重み付き和として表される、トークン埋め込みの凸包上での最適化としてトリガー逆方向推定を再定式化する。
• 温度スケジューリング付きソフトマックスを用い、最適化出力の信頼性を動的に制御する。初期段階では高温度で広範囲の探索を実施し、徐々に温度を低下させて1ホットのような解に集中させる。
• 最適化が局所最適解に閉じ込められた際に温度を上昇させる温度ロールバック機構を導入する。これは、唯一のグローバル最適解が低い逆方向推定損失を示すという事実を利用している。
• 逆方向推定されたトリガー下でのモデルの誤分類を測定する損失関数を定義し、その損失を最小化することで真のトリガーを同定することを目的とする。
• 逆方向推定されたトリガーを用いてモデルの再訓練またはファインチューニングを実行することで、バックドア検出および除去の両方のタスクに適用する。
• 逆方向推定損失のしきい値に基づくバックトラッキング戦略を用い、グローバル最適解（真のトリガー）と局所最適解（偽のトリガー）を区別する。

実験結果

リサーチクエスチョン

• RQ1 固定温度手法と比較して、ソフトマックスにおける動的温度スケーリングが、離散的NLP空間におけるトリガー逆方向推定の収束をどのように改善するか？
• RQ2 真のトリガーがすぐに特定できない状況下でも、温度ロールバック機構が局所最適解からの脱出にどの程度有効であるか？
• RQ3 SOSやコンビネーションロックなど、トリガーの可視性を低下させる高度で適応的な攻撃に対しても、本手法はどの程度の範囲でバックドアを検出・除去できるか？
• RQ4 ASC、UAT、T-Miner、遺伝的アルゴリズムなどの最先端ベースラインと比較して、本手法は多様なアーキテクチャとタスクにおいて、検出精度と耐性の両面でどの程度優れているか？
• RQ5 バックドア除去後、攻撃成功確率（ASR）をほぼゼロにまで低下させつつ、クリーン精度を高い水準に維持できるか？

主な発見

• β=0.3の条件下で、Hidden Killer攻撃では0.95、Combination Lock攻撃では1.00の検出精度を達成し、すべてのベースラインを上回った。
• 適応的SOS攻撃では、β=1の条件下でも0.875の検出精度を維持し、低損失で最適化された隠蔽的トリガーに対して耐性を示した。
• TrojAIデータセット全体で、バックドア除去により平均攻撃成功確率（ASR）を0.987から0.058に低下させたが、クリーン精度の低下はわずかであった（例：感情分析では0.909から0.892に低下）。
• アブレーションスタディにより、温度スケーリングとバックトラッキングの両方が不可欠であることが確認された。いずれかを除去すると、検出性能が著しく低下した。
• 適応的攻撃によってトリガー損失しきい値（ϕ）が上昇しても、本手法は効果を維持した。ϕ=0.5の条件下でも80%以上の検出精度を維持したが、ASRは著しく低下した。
• 3つのNLPタスクと7種類のモデルアーキテクチャにわたり、4つのSOTAベースラインを最大43.4%上回る検出精度を達成し、一貫した改善効果を示した。