[논문 리뷰] Exploring the Hyperparameter Landscape of Adversarial Robustness

Evelyn Duesterwald, Anupama Murthi외 3명|arXiv (Cornell University)|2019. 05. 09.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 4

한 줄 요약

이 논문은 적대적 훈련 초파rameter와 모델의 강건성 간의 복잡한 관계를 조사하며, 강건성 표면이 매우 민감하고 비선형적임을 입증한다. 이를 바탕으로 정확도 예산을 활용한 초파rameter 최적화(HPO) 프레임워크를 제안하여, MNIST 및 SVHN에서 최소한의 정확도 손실로 거의 최적의 강건성을 달성한다.

ABSTRACT

Adversarial training shows promise as an approach for training models that are robust towards adversarial perturbation. In this paper, we explore some of the practical challenges of adversarial training. We present a sensitivity analysis that illustrates that the effectiveness of adversarial training hinges on the settings of a few salient hyperparameters. We show that the robustness surface that emerges across these salient parameters can be surprisingly complex and that therefore no effective one-size-fits-all parameter settings exist. We then demonstrate that we can use the same salient hyperparameters as tuning knob to navigate the tension that can arise between robustness and accuracy. Based on these findings, we present a practical approach that leverages hyperparameter optimization techniques for tuning adversarial training to maximize robustness while keeping the loss in accuracy within a defined budget.

연구 동기 및 목표

• 적대적 훈련에서 핵심 초파라미터에 대한 적대적 강건성의 민감도를 이해하기 위해.
• 복잡하고 비선형적인 강건성 표면으로 인해 최적의 초파라미터 설정을 찾는 데 어려움이 있음에 대비하여.
• 초파라미터 튜닝에 정확도 예산을 도입하여 강건성과 정순 정확도 간의 트레이드오프를 완화하기 위해.
• 수동적인 초파라미터 튜닝 없이도 실무자들이 강건한 모델을 원칙적으로 자동으로 달성할 수 있는 접근법을 개발하기 위해.
• 정확도 제약 조건 하에서 강건성-정확도 트레이드오프를 탐색하는 데에 그리드, 무작위, TPE 등의 HPO 전략의 효과를 평가하기 위해.

제안 방법

• 적대적 훈련에서 핵심 초파라미터인 PGD 공격 비율과 변형 크기(ε)에 대한 민감도 분석을 수행한다.
• 강건성을 주요 목표로 하고 정확도를 제약 예산으로 삼는 다목적 최적화 문제로 적대적 훈련을 모델링한다.
• 초파라미터 공간을 탐색하기 위해 세 가지 HPO 전략—그리드 서치, 무작위 서치, 트리 기반 파르젠 추정(TPE)—를 적용한다.
• 수용 가능한 정확도 손실을 제한하기 위해 정확도 예산 β를 통합하여 HPO가 강건성과 정순 정확도를 균형 잡힌 설정으로 이끌 수 있도록 유도한다.
• PGD 기반의 적대적 공격을 사용하여 다양한 초파라미터 설정에서 강건성(AdvAcc)과 표준 테스트 정확도(TestAcc)를 평가한다.
• 각 설정당 40회 반복하여 정확도 제약 조건이 깐깐할 경우 HPO 방법의 일관성과 성공률을 평가한다.

실험 결과

연구 질문

• RQ1 PGD 비율과 ε와 같은 핵심 초파라미터의 변동에 대해 적대적 강건성이 얼마나 민감한가?
• RQ2 초파라미터 공간 전반에 걸친 강건성 표면의 구조는 어떻게 되어 있으며, 얼마나 복잡한가?
• RQ3 초파라미터 최적화 기법들이 적대적 훈련에서 강건성-정확도 트레이드오프를 효과적으로 탐색할 수 있는가?
• RQ4 정확도 예산을 도입함으로써 HPO 방법이 최적의 초파라미터 설정을 찾는 능력에 어떤 영향을 미치는가?
• RQ5 자동화된 HPO 전략이 수동 튜닝보다 정확도 저하를 최소화하면서 높은 강건성을 달성하는 데서 슈퍼어리어어하는가?

주요 결과

• 비율과 ε와 같은 초파라미터에 대한 강건성 표면은 매우 복잡하고 비선형적이며, 한 가지 크기의 초파라미터 설정이 모든 경우에 적합하지 않다.
• 정확도 예산 없이 MNIST에서 그리드 서치는 93.4%의 적대적 정확도를 달성했고, SVHN에서는 40.0%를 기록했지만, 이는 정순 정확도가 크게 감소한 결과(예: SVHN에서 70.9%)를 수반했다.
• MNIST에서 정확도 예산 β=1.6%를 적용한 그리드 서치는 92.7%의 적대적 정확도를 달성하면서도 정순 정확도 98.01%를 유지했다.
• SVHN에서는 정확도 예산 β=14.0%를 통해 38.3%의 적대적 정확도와 85.6%의 정순 정확도를 달성했으며, 제약 조건이 없는 경우의 70.9%보다 훨씬 우수한 성능을 보였다.
• 무작위 서치와 TPE는 40회 반복 동안 일관된 성능을 보였으며, TPE는 대체 모델링 덕분에 무작위 서치를 略로 뛰어넘었다. 그러나 둘 다 정확도 제약 조건 하에서 효과적이었다.
• 매우 깐깐한 정확도 예산 조건에서는 무작위 서치와 TPE의 성공률가 감소했으며, 이는 타당한 해를 신뢰성 있게 찾기 위해 다수의 실행이 필요함을 시사한다.