[論文レビュー] AutoLoRa: A Parameter-Free Automated Robust Fine-Tuning Framework

Xilie Xu, Jingfeng Zhang+1 more|arXiv (Cornell University)|Oct 3, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

AutoLoRaは、特徴抽出器を介して敵対的および自然な目的の最適化を分離する低ランク（LoRa）ブランチを用いて、敵対的訓練の安定性を高めるパラメータフリーで自動化されたロバスト微調整フレームワークを提案する。これにより、特徴抽出器における矛盾する勾配方向を防ぎ、ハイパーパramータチューニングなしで下流タスクにおいて最先端の敵対的ロバストネスを達成する。学習率と損失スケーリング係数のヒューリスティックスケジューリングを用いる。

ABSTRACT

Robust Fine-Tuning (RFT) is a low-cost strategy to obtain adversarial robustness in downstream applications, without requiring a lot of computational resources and collecting significant amounts of data. This paper uncovers an issue with the existing RFT, where optimizing both adversarial and natural objectives through the feature extractor (FE) yields significantly divergent gradient directions. This divergence introduces instability in the optimization process, thereby hindering the attainment of adversarial robustness and rendering RFT highly sensitive to hyperparameters. To mitigate this issue, we propose a low-rank (LoRa) branch that disentangles RFT into two distinct components: optimizing natural objectives via the LoRa branch and adversarial objectives via the FE. Besides, we introduce heuristic strategies for automating the scheduling of the learning rate and the scalars of loss terms. Extensive empirical evaluations demonstrate that our proposed automated RFT disentangled via the LoRa branch (AutoLoRa) achieves new state-of-the-art results across a range of downstream tasks. AutoLoRa holds significant practical utility, as it automatically converts a pre-trained FE into an adversarially robust model for downstream tasks without the need for searching hyperparameters.

研究の動機と目的

• 特徴抽出器（FE）を介して敵対的および自然な目的を最適化する際、発散する勾配方向が生じるロバスト微調整（RFT）の不安定性を解消すること。
• 低ランク（LoRa）ブランチを介して敵対的および自然な目的の最適化を分離することにより、RFTのハイパーパramータへの感受性を低減すること。
• 敵対的攻撃の収束とソフトラベルの品質に着想を得たヒューリスティック戦略を用いて、学習率および損失スケーリング係数（$\lambda_1$, $\lambda_2$）のスケジューリングを自動化すること。
• 手動でのハイパーパramータサーチなしで、下流タスクにおける最先端の敵対的ロバストネスを達成すること。

提案手法

• 敵対的データを特徴抽出器（FE）に、自然なデータを低ランク（LoRa）ブランチにルーティングすることでRFTを分離し、FEが敵対的目的のみを最適化するように保証する。
• Kullback-Leibler（KL）損失を用いて、LoRaブランチからFEへの知識伝達を実現し、敵対的ログティットと自然なソフトラベルを一致させることで一般化性能を維持する。
• AutoAttack（Croce & Hein, 2020）から適応したステップサイズスケジューラを用いて学習率を自動スケジューリングし、収束安定性を向上させる。
• $\lambda_1$（自然な目的の重み）を標準精度に反比例するように設定し、LoRaブランチの学習を加速する。
• $\lambda_2$（敵対的目的の重み）を標準精度に正比例するように設定し、LoRaのソフトラベルに対する信頼度を制御する。
• ソフトラベルに鋭化ハイパーパramータ$\alpha$を適用し、$\alpha=1.0$がロバストネスにおいて最適であると判明した。

実験結果

リサーチクエスチョン

• RQ1 LoRaブランチを介した敵対的および自然な目的の最適化の分離は、ロバスト微調整における勾配発散を低減し、訓練の安定性を向上させるか？
• RQ2 ヒューリスティックで自動化された学習率および損失スケーリング係数のスケジューリングは、RFTにおいてチューニング済みハイパーパramータと同等の性能を達成できるか？
• RQ3 LoRaランクの選択がモデル性能およびパラメータ効率に与える影響は何か？
• RQ4 事前学習時の敵対的バジェット$\epsilon_{\mathrm{pt}}$が下流のロバストネスに与える影響は何か？
• RQ5 鋭化ハイパーパramータ$\alpha$は、標準精度とロバスト精度のトレードオフに顕著な影響を及ぼすか？

主な発見

• AutoLoRaは、PGD-10攻撃下でCIFAR-100で33.31%、DTD-57で27.63%の最先端のロバストテスト精度を達成し、ヴァニラRFTおよびTWINSを上回った。
• AutoLoRaの自動学習率スケジューラは、チューニング済みハイパーパramータと同等の性能を達成し、CIFAR-10の精度でわずか0.16%の低下しかなく、ロバストネスの損失は無視できるほどだった。
• $\alpha=1.0$が最良のロバスト精度をもたらしたが、$\alpha$を大きくすると（例：5.0）ロバストネスが低下した。これは最適な鋭化が極めて重要であることを示している。
• より大きな事前学習時の敵対的バジェット（$\epsilon_{\mathrm{pt}} = 8/255$）は一貫して下流のロバストネスを向上させ、AutoLoRaはCIFAR-100で62.82%のロバスト精度を達成した。
• ランク$r_{\mathrm{nat}}=8$のLoRaブランチは、元のモデルの4.87%のパラメータで、CIFAR-10で54.27%のロバスト精度を維持しており、高い効率性を示した。
• ヴァニラRFTおよびTWINSでは、自然な目的と敵対的目的の勾配類似度が著しく低下した（例：~0.2）。一方、AutoLoRaは目的の分離により安定した最適化を維持した。