[論文レビュー] Certified Robustness Against Natural Language Attacks by Causal Intervention

Haiteng Zhao, Chang Ma+4 more|arXiv (Cornell University)|May 24, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、意味的空間のスムージングを通じて因果効果 $p(y|do(x))$ をモデル化することにより、自然言語攻撃に対して認証可能（certified）なロバスト性を達成する、新しいフレームワークである因果的干渉による意味的スムージング（CISS）を提案する。CISSは、統合攻撃下でIMDBでは76.5%の認証ロバスト精度、YELPでは80.7%の実証的ロバスト性を達成し、最先端手法を上回る性能を示した。

ABSTRACT

Deep learning models have achieved great success in many fields, yet they are vulnerable to adversarial examples. This paper follows a causal perspective to look into the adversarial vulnerability and proposes Causal Intervention by Semantic Smoothing (CISS), a novel framework towards robustness against natural language attacks. Instead of merely fitting observational data, CISS learns causal effects p(y|do(x)) by smoothing in the latent semantic space to make robust predictions, which scales to deep architectures and avoids tedious construction of noise customized for specific attacks. CISS is provably robust against word substitution attacks, as well as empirically robust even when perturbations are strengthened by unknown attack algorithms. For example, on YELP, CISS surpasses the runner-up by 6.7% in terms of certified robustness against word substitutions, and achieves 79.4% empirical robustness when syntactic attacks are integrated.

研究の動機と目的

• 深層NLPモデルの敵対的攻撃、特に語の置換や文構造的変更に対する脆弱性を解消すること。
• 交絡要因（例：スタイルや専門用語）が原因で生じる誤った相関関係がモデルの脆弱性の根本的要因であることを特定し、因果的視点から敵対的ロバスト性を理解すること。
• 攻撃に特化したノイズ設計を回避する、スケーラブルな認証可能なロバスト性フレームワークを構築すること。
• 既知および未知の敵対的攻撃に対して、証明可能（認証可能）かつ実証的なロバスト性を両立させること。

提案手法

• CISSは、潜在的意味空間における交絡要因の影響を除去することで、$p(y|do(x))$ の介入分布をモデル化し、NLPにおける因果的推論を可能にする。
• 事前学習モデル（例：BERT）の潜在空間において意味的スムージングを適用することで、$p(y|do(x))$ を近似し、入力空間のノイズ分布に依存しない。
• この手法は、確率的スムージングに裏打ちされており、滑らかにされた分類器は $p(y|do(x)) = \int p(y|x,n)p(n)\,dn$ を推定する。これにより、因果的視点からロバスト性が正当化される。
• CISSは潜在表現に対する微分可能なスムージング戦略を採用しており、エンドツーエンドの学習が可能で、Transformerへのスケーラビリティを有する。
• 因果的不変性のおかげで、未知の攻撃アルゴリズムによって強化された摂動に対しても、ロバスト性を維持できる。
• スムージングの強さ $\gamma$ や潜在ノイズの強さ $m$ といったハイパーパrameterは、ロバスト性と精度のバランスを取るために調整され、$\sigma$ に対しては最小限の感度を示す。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルの敵対的脆弱性は、操作可能な交絡要因（例：スタイルや専門用語）によって誘発される誤った相関関係に起因するか？
• RQ2 確率的スムージングは、因果効果 $p(y|do(x))$ の推定と解釈可能であり、認証可能なロバスト性の理論的根拠を提供するか？
• RQ3 意味的空間スムージングは、Transformerのような深層アーキテクチャにスケーリング可能な証明可能なロバストなNLPモデルを実現できるか？
• RQ4 潜在空間における因果的効果のモデル化は、文構造的および編集ベースの摂動を含む、既知および未知の敵対的攻撃に対しロバスト性をもたらすか？

主な発見

• IMDBデータセットでは、CISSは語の置換攻撃に対して76.5%の認証ロバスト精度を達成し、2位の手法を7.2ポイント上回った。
• YELPデータセットでは、統合された文構造的攻撃下でCISSは80.7%の実証的ロバスト性を達成し、2位の手法を6.8ポイント上回った。
• CISSは複数のハイパーパrameter設定において強い認証ロバスト性を示した：YELPでは $\gamma=4$ かつ $m=1$ の場合に75.25%の認証精度を達成し、IMDBでは $\sigma$ を0.5から4の範囲で変化させても90%を超える認証ロバスト性を維持した。
• CISSの性能は、ガウスノイズの標準偏差 $\sigma$ に対して最小限の感度を示しており、ハイパーパrameterチューニングに対して頑健であることが示された（従来の確率的スムージング手法とは対照的）。
• YELPでは統合攻撃下で83.1%の実証的ロバスト性を達成し、2位の手法を7.8ポイント上回った。
• アブレーションスタディの結果、潜在的意味空間におけるスムージングが極めて重要であることが確認された。入力空間にスムージングを適用するか、因果的干渉を実施しない場合、性能は著しく低下した。