[論文レビュー] Robustness Verification for Transformers

Zhouxing Shi, Huan Zhang+3 more|arXiv (Cornell University)|Feb 16, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 35

ひとこと要約

この論文は自己注意を備えたトランスフォーマーモデルの頑健性検証手法を初めて提案し、厳密な線形境界を導出するとともに、前向きと後向きの境界伝播を組み合わせて入力摂動の下での予測を保証する。

ABSTRACT

Robustness verification that aims to formally certify the prediction behavior of neural networks has become an important tool for understanding model behavior and obtaining safety guarantees. However, previous methods can usually only handle neural networks with relatively simple architectures. In this paper, we consider the robustness verification problem for Transformers. Transformers have complex self-attention layers that pose many challenges for verification, including cross-nonlinearity and cross-position dependency, which have not been discussed in previous works. We resolve these challenges and develop the first robustness verification algorithm for Transformers. The certified robustness bounds computed by our method are significantly tighter than those by naive Interval Bound Propagation. These bounds also shed light on interpreting Transformers as they consistently reflect the importance of different words in sentiment analysis.

研究の動機と目的

• ニューラルネットワークの安全性と解釈性のツールとして頑健性検証を動機づけ、特に複雑なアーキテクチャに対して。
• トランスフォーマーの自己注意を扱える検証アルゴリズムを開発し、摂動下の予測を認定する。
• 素朴なIBPよりも厳密な境界を生み出し、NLPタスクにおける語の重要性を解釈しやすい洞察を提供する。
• 感情分析データセットへの適用性を示し、提案手法の効率性と厳密性を分析する。

提案手法

• 入力摂動下でニューロン出力の下限・上限を伝播させる線形緩和フレームワークを採用する。
• ドット積、softmax、および加重和の閉形式の線形境界を導出して自己注意を扱い、クロス非線形性を管理する。
• 自己注意の前向き境界伝播プロセスを導入して計算量を削減し、より厳密な境界のための後向きプロセスを導入する。
• 前向きと後向きの境界伝播を組み合わせて O(m^2 n) の境界行列を実現し、計算量を O(m^2 n^2) から大幅に削減する。
• 線形変換と単項非線形性を通して境界をバックプロパゲーションし、CROWN風の境界をトランスフォーマーに拡張する。

実験結果

リサーチクエスチョン

• RQ1 入力系列への小さな摂動の下で、トランスフォーマーに基づくモデルの頑健性を認定できるか。
• RQ2 自己注意を通じて、位置間の依存性と交差非線形性を含む中を、線形境界をどのように効率的に伝播させることができるか。
• RQ3 得られた認定境界は、感情分析のようなタスクにおける入力語の重要性を意味的に反映しているか。

主な発見

• トランスフォーマーモデルの認定頑健性境界は、IBP（区間境界伝播）よりも著しく厳密である。
• 前向き境界と後向き境界の組み合わせは、完全な後向き伝播と比較して計算時間を削減しつつ、競争力のある厳密性を実現する。
• 本手法は小型のトランスフォーマー変種にスケールし、感情分析において語の重要性と相関する境界を生み出す。
• YelpとSSTデータセットでの実験結果は、大規模な事前学習モデルに依存せず、意味のある解釈可能な頑健性証明を示す。
• 境界は上限境界に対して合理的なギャップを示し、より単純なネットワークの検証と同様の実用性を示唆する。