[論文レビュー] On Robust Prefix-Tuning for Text Classification

Zonghan Yang, Yang Liu|arXiv (Cornell University)|Mar 19, 2022

Topic Modeling被引用数 10

ひとこと要約

この論文は、事前学習モデルのパラメータを変更せずに、テキスト分類における敵対的ロバストネスを向上させるロバストなプレフィックスチューニングフレームワークを提案する。推論時に、正しく分類された訓練データからのレイヤーごとの活性化を基準として、バッチ固有のプレフィックスをチューニングすることにより、多様なテキスト攻撃に対してロバストネスを向上させる。同時に、クリーンな入力における高い精度を維持し、プレフィックスチューニングのモジュラリティと効率性を保ったままである。

ABSTRACT

Recently, prefix-tuning has gained increasing attention as a parameter-efficient finetuning method for large-scale pretrained language models. The method keeps the pretrained models fixed and only updates the prefix token parameters for each downstream task. Despite being lightweight and modular, prefix-tuning still lacks robustness to textual adversarial attacks. However, most currently developed defense techniques necessitate auxiliary model update and storage, which inevitably hamper the modularity and low storage of prefix-tuning. In this work, we propose a robust prefix-tuning framework that preserves the efficiency and modularity of prefix-tuning. The core idea of our framework is leveraging the layerwise activations of the language model by correctly-classified training data as the standard for additional prefix finetuning. During the test phase, an extra batch-level prefix is tuned for each batch and added to the original prefix for robustness enhancement. Extensive experiments on three text classification benchmarks show that our framework substantially improves robustness over several strong baselines against five textual attacks of different types while maintaining comparable accuracy on clean texts. We also interpret our robust prefix-tuning framework from the optimal control perspective and pose several directions for future research.

研究の動機と目的

• プレフィックスチューニングにおけるテキスト敵対的攻撃に対するロバストネスの欠如を是正しつつ、パラメータ効率性とモジュラリティを維持すること。
• 補助モデルの更新やストレージを必要とせず、プレフィックスチューニングの軽量性を保ったまま防御機構を構築すること。
• 最適制御の観点から、ロバストプレフィックスチューニングを閉ループ制御問題として形式化すること。
• 活性化に基づく監視を用いて、推論時に動的でバッチレベルのプレフィックスチューニングを実現し、ロバストネスを向上させること。
• さまざまな敵対的攻撃タイプにおいて、クリーンな入力での高いパフォーマンスを維持しながら、ロバストネスを著しく向上させること。

提案手法

• 正しく分類された訓練サンプルからのレイヤーごとの活性化を、『正しい』モデル動作の基準として、低次元の標準的多様体に射影する。
• 推論時に、各バッチごとに追加のバッチ固有プレフィックスをチューニングし、モデルの活性化を正しい予測の標準的多様体に一致させる。
• 最適化プロセスは、モデルのレイヤーごとの活性化と標準的多様体との距離を最小化するもので、元のプレフィックスを固定された基盤として使用する。
• 最適化問題を解くために、逐次近似法（MSA）という離散時間手法を活用し、これはバックプロパゲーションと同等である。
• 動的プレフィックスが制御入力として機能する閉ループ制御システムとしてフレームワークを形式化し、摂動下でも正しい予測へモデルを誘導する。
• 元のプレフィックスチューニングの設定を維持し、推論時にのみ軽量なバッチ単位のチューニングメカニズムを導入する。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルのパラメータを変更せずに、プレフィックスチューニングのテキスト敵対的攻撃に対するロバストネスを向上させることは可能か？
• RQ2 ロバストネスの向上を図りながらも、プレフィックスチューニングのモジュラリティと低ストレージ特性を維持できるか？
• RQ3 クリーンデータからの活性化パターンを用いて、推論時に『正しい』モデル動作を定義・強制することは可能か？
• RQ4 ロバストプレフィックスチューニングを閉ループ制御問題として形式化することで、敵対的入力下での一般化性能を向上させられるか？
• RQ5 提案手法は、多様な攻撃タイプにおいて強力なロバストネス向上を達成するか、同時にクリーン精度を維持するか？

主な発見

• 提案フレームワークは、3つのテキスト分類ベンチマークで5種類の異なるテキスト敵対的攻撃に対して、強力なベースラインと比較して顕著なロバストネス向上を達成した。
• クリーンテストセットにおいても同等の精度を維持しており、ロバストネスの向上がクリーンデータでのパフォーマンスに悪影響を及えないことを示している。
• 正しく分類された訓練例から導出された標準的多様体にバッチレベルの活性化を一致させることで、敵対的摂動下での予測誤差を効果的に低減した。
• 理論的分析により、ロバストプレフィックスチューニングプロセスが閉ループ制御と同等であることが示され、そのロバストネスメカニズムに原理的解釈が与えられた。
• 計算的に効率的であり、追加のモデルストレージやパラメータ更新を必要とせず、プレフィックスチューニングのモジュラリティを保ったままである。
• ユニバーサル敵対的トリガー（UAT）や、プロンプトベースモデルを標的とする他の攻撃タイプに対しても、本フレームワークは有効である。