[論文レビュー] Certified Robustness for Large Language Models with Self-Denoising

Zhen Zhang, Guanhua Zhang+6 more|arXiv (Cornell University)|Jul 14, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、自己denoise化を用いることで、ランダム化スムージングを強化する、大規模言語モデル（LLMs）向けの認証可能ロバスト性フレームワークであるSelfDenoiseを提案する。この手法は、入力に加えられた摂動を元に、LLM自身がマスクされたトークンを補完することで、摂動された入力を自己でdenoiseする。予測の前に自己denoiseを適用することで、認証半径を著しく拡大し、SST-2およびAgnewsデータセットにおいて、認証可能ロバスト性と実験的ロバスト性の両面で、既存のベースラインを上回る性能を達成する。

ABSTRACT

Although large language models (LLMs) have achieved great success in vast real-world applications, their vulnerabilities towards noisy inputs have significantly limited their uses, especially in high-stake environments. In these contexts, it is crucial to ensure that every prediction made by large language models is stable, i.e., LLM predictions should be consistent given minor differences in the input. This largely falls into the study of certified robust LLMs, i.e., all predictions of LLM are certified to be correct in a local region around the input. Randomized smoothing has demonstrated great potential in certifying the robustness and prediction stability of LLMs. However, randomized smoothing requires adding noise to the input before model prediction, and its certification performance depends largely on the model's performance on corrupted data. As a result, its direct application to LLMs remains challenging and often results in a small certification radius. To address this issue, we take advantage of the multitasking nature of LLMs and propose to denoise the corrupted inputs with LLMs in a self-denoising manner. Different from previous works like denoised smoothing, which requires training a separate model to robustify LLM, our method enjoys far better efficiency and flexibility. Our experiment results show that our method outperforms the existing certification methods under both certified robustness and empirical robustness. The codes are available at https://github.com/UCSB-NLP-Chang/SelfDenoise.

研究の動機と目的

• 入力摂動に対して限界的な認証可能ロバスト性を示す大規模言語モデル（LLMs）の課題に取り組むこと。特に、高リスクな応用分野において。
• 入力が汚染された場合の性能が著しく低下する、従来のランダム化スムージングの性能ボトルネックを克服すること。
• モデルの重みへのアクセスや再訓練を必要とせず、パラメータフリーで効率的なロバスト性向上手法を開発すること。
• LLMsにおける認証可能ロバスト性（局所的安定性）と実験的ロバスト性（ adversarial 攻撃に対する耐性）の両方を向上させること。

提案手法

• ランダム化スムージングを適用し、ランダムな単語マスキングによって複数の摂動された入力を生成する。
• 摂動された入力を直接LLMに与える代わりに、まずLLMにマスクされたトークンの補完を促して、元の意味的整合性を回復させる。
• 得られたdenoise済みの入力を予測および認証に使用することで、汚染された入力に対するモデルの性能を向上させる。
• 認証は、複数のdenoise済みかつスムージングされた入力における予測の一致度に基づき、一貫した予測の頻度から認証半径を導出する。
• このアプローチはプラグアンドプレイであり、微調整やアーキテクチャの変更を一切不要とし、プロンプトベースの推論により、任意のLLMと連携可能である。
• 自己denoiseメカニズムは、denoised smoothingを模倣しているが、外部のdenoiserの代わりにLLM自身を用いることで、効率性と柔軟性を向上させている。

実験結果

リサーチクエスチョン

• RQ1 自己denoise化は、モデルの微調整を必要とせずに、ランダム化スムージングにおけるLLMの認証可能ロバスト性を向上させることができるか？
• RQ2 RanMask や Safer といったベースライン手法と比較して、自己denoise化は認証可能ロバスト性および実験的ロバスト性の両面で優れているか？
• RQ3 自己denoiseメカニズムは、高いクリーン精度を維持したまま、認証半径を拡大することができるか？
• RQ4 LLMは、自身の摂動された入力に対して、予測を安定化させるために効果的にdenoiserとして機能できるか？

主な発見

• SST-2データセットでは、DeepWordBug攻撃下で64.5%の実験的ロバスト精度を達成し、2番目に優れた手法を13.2%上回った。
• Agnewsデータセットでは、DeepWordBug攻撃下で70.0%の実験的ロバスト精度を達成し、2番目に優れた手法より19.7%の改善を示した。
• 摂動スケールd=5%の条件下で、SelfDenoiseはRanMaskと比較して、SST-2で11.5%、Agnewsで26.3%の認証精度向上を達成した。
• SelfDenoiseは、SST-2で90.0%の最高のクリーン精度を維持しながら、クリーン精度とロバスト性の両立が図られた。
• TextBugger攻撃下では、Agnewsで66.0%の実験的ロバスト精度を達成し、2番目に優れた手法より24.5%の改善を示した。
• 自己denoise戦略により、アーカイブモデルであるvanilla Alpacaモデルと比較して、クリーン精度がわずか1.2%低下するのみで、SST-2で19.7%の実験的ロバスト精度向上を達成した。