[논문 리뷰] AutoLoRa: A Parameter-Free Automated Robust Fine-Tuning Framework

Xilie Xu, Jingfeng Zhang외 1명|arXiv (Cornell University)|2023. 10. 03.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

AutoLoRa는 특성 추출기에서 악성 및 자연적 목적 최적화 간의 충돌하는 기울기 방향을 막기 위해 저랭크(LoRa) 브랜치를 통해 악성 및 자연적 목적 최적화를 분리하는 파라미터 없는 자동화된 안정적인 미세조정 프레임워크를 제안한다. 이는 훈련을 안정화시키며, 하이퍼파rameter 튜닝 없이도 하류 작업에서 최고 수준의 악성 공격에 대한 내성을 달성한다. 학습률과 손실 스케일러에 대한 히우리스틱 스케줄링을 사용한다.

ABSTRACT

Robust Fine-Tuning (RFT) is a low-cost strategy to obtain adversarial robustness in downstream applications, without requiring a lot of computational resources and collecting significant amounts of data. This paper uncovers an issue with the existing RFT, where optimizing both adversarial and natural objectives through the feature extractor (FE) yields significantly divergent gradient directions. This divergence introduces instability in the optimization process, thereby hindering the attainment of adversarial robustness and rendering RFT highly sensitive to hyperparameters. To mitigate this issue, we propose a low-rank (LoRa) branch that disentangles RFT into two distinct components: optimizing natural objectives via the LoRa branch and adversarial objectives via the FE. Besides, we introduce heuristic strategies for automating the scheduling of the learning rate and the scalars of loss terms. Extensive empirical evaluations demonstrate that our proposed automated RFT disentangled via the LoRa branch (AutoLoRa) achieves new state-of-the-art results across a range of downstream tasks. AutoLoRa holds significant practical utility, as it automatically converts a pre-trained FE into an adversarially robust model for downstream tasks without the need for searching hyperparameters.

연구 동기 및 목표

• 특성 추출기(FE)를 통해 악성 및 자연적 목적을 동시에 최적화할 때 발생하는 기울기 방향의 분리로 인한 강화 미세조정(RFT)의 불안정성 문제를 해결하기 위해.
• 악성 및 자연적 목적 최적화를 저랭크(LoRa) 브랜치를 통해 분리함으로써 RFT의 하이퍼파rameter 민감도를 감소시키기 위해.
• 악성 공격 수렴 및 소프트 레이블 품질에 기반한 히우리스틱 전략을 활용해 학습률과 손실 스케일러($\lambda_1$, $\lambda_2$)의 스케줄링을 자동화하기 위해.
• 수동 하이퍼파rameter 검색 없이도 하류 작업에서 최고 수준의 악성 내성을 달성하기 위해.

제안 방법

• 악성 데이터는 특성 추출기(FE)를, 자연적 데이터는 저랭크(LoRa) 브랜치를 통해 통과시켜 FE가 오직 악성 목적 최적화에만 집중하도록 유도한다.
• LoRa 브랜치에서의 지식을 FE로 전이하기 위해 쿨백-라이블러(KL) 손실을 사용하여, 악성 로짓과 자연적 소프트 레이블 간의 일치를 통해 일반화 능력을 유지한다.
• AutoAttack(Croce & Hein, 2020)에서 유도된 단계 크기 스케줄러를 적용하여 학습률을 자동으로 스케줄링함으로써 수렴 안정성을 향상시킨다.
• 표준 정확도에 반비례하도록 $\lambda_1$(자연적 목적 가중치)를 설정하여 LoRa 브랜치 학습을 가속화한다.
• 표준 정확도에 정비례하도록 $\lambda_2$(악성 목적 가중치)를 설정하여 LoRa 소프트 레이블에 대한 신뢰도를 제어한다.
• 소프트 레이블에 샤프닝 하이퍼파rameter $\alpha$를 적용하며, $\alpha=1.0$이 내성에 가장 유리한 것으로 확인되었다.

실험 결과

연구 질문

• RQ1 LoRa 브랜치를 통한 악성 및 자연적 목적 최적화 분리가 기울기 분리 현상을 줄이고 강화 미세조정의 훈련 안정성을 향상시키는가?
• RQ2 학습률과 손실 스케일러의 히우리스틱 자동 스케줄링 전략이 RFT에서 튜닝된 하이퍼파rameter 성능과 유사한 성능을 달성할 수 있는가?
• RQ3 LoRa 랭크의 선택이 모델 성능과 파라미터 효율성에 어떤 영향을 미치는가?
• RQ4 사전 훈련 중 악성 예산 $\epsilon_{\mathrm{pt}}$ 가 하류 내성에 어떤 영향을 미치는가?
• RQ5 샤프닝 하이퍼파arameter $\alpha$ 가 표준 정확도와 내성 정확도 간의 트레이드오프에 유의미한 영향을 미치는가?

주요 결과

• AutoLoRa는 PGD-10 공격 하에서 CIFAR-100에서 33.31%의 최고 수준의 내성 테스트 정확도와 DTD-57에서 27.63%를 달성하여, 기존의 RFT 및 TWINS를 능가한다.
• AutoLoRa의 자동 학습률 스케줄러는 튜닝된 하이퍼파라미터와 유사한 성능을 보이며, CIFAR-10 정확도에서 0.16% 이하의 하락만을 보이고 내성 성능 손실는 무시할 만큼 작다.
• α=1.0일 때가 가장 높은 내성 정확도를 달성하며, α 값을 높일수록(예: 5.0) 내성 정확도가 저하됨을 확인하여 최적의 샤프닝이 매우 중요함을 시사한다.
• 더 큰 사전 훈련 악성 예산($\epsilon_{\mathrm{pt}} = 8/255$)은 일관되게 하류 내성 향상을 이끌었으며, AutoLoRa는 CIFAR-100에서 62.82%의 내성 정확도를 달성했다.
• LoRa 브랜치의 랭크 $r_{\mathrm{nat}}=8$ 는 원본 모델의 4.87%의 파라미터만을 차지하면서도 CIFAR-10에서 54.27%의 내성 정확도를 유지하여 높은 효율성을 입증했다.
• 기존의 RFT 및 TWINS에서는 자연적 목적과 악성 목적 간의 기울기 유사도가 크게 떨어지며 악성 기울기 방향이 분리되는 경향(예: 약 0.2)을 보였지만, AutoLoRa는 목적 분리를 통해 안정적인 최적화를 유지한다.