[논문 리뷰] Precise Tradeoffs in Adversarial Training for Linear Regression

Adel Javanmard, Mahdi Soltanolkotabi외 1명|arXiv (Cornell University)|2020. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 12

한 줄 요약

이 논문은 고차원 점진적 분석을 사용하여 적대적 훈련 하에서 선형 회귀에서 표준 위험과 강건 위험 사이의 상호보완적 관계를 정밀하게 이론적으로 특성화한다. 가용 가능한 위험에 대한 정확한 표현을 도출하고, 데이터 크기, 모델 과다파rametrization, 적대적 편향 수준이 이 상호보완적 관계에 미치는 영향을 분석하여 가우시안 특징 설정 하에서 근본적인 한계와 알고리즘 성능을 드러낸다.

ABSTRACT

Despite breakthrough performance, modern learning models are known to be highly vulnerable to small adversarial perturbations in their inputs. While a wide variety of recent \emph{adversarial training} methods have been effective at improving robustness to perturbed inputs (robust accuracy), often this benefit is accompanied by a decrease in accuracy on benign inputs (standard accuracy), leading to a tradeoff between often competing objectives. Complicating matters further, recent empirical evidence suggest that a variety of other factors (size and quality of training data, model size, etc.) affect this tradeoff in somewhat surprising ways. In this paper we provide a precise and comprehensive understanding of the role of adversarial training in the context of linear regression with Gaussian features. In particular, we characterize the fundamental tradeoff between the accuracies achievable by any algorithm regardless of computational power or size of the training data. Furthermore, we precisely characterize the standard/robust accuracy and the corresponding tradeoff achieved by a contemporary mini-max adversarial training approach in a high-dimensional regime where the number of data points and the parameters of the model grow in proportion to each other. Our theory for adversarial training algorithms also facilitates the rigorous study of how a variety of factors (size and quality of training data, model overparametrization etc.) affect the tradeoff between these two competing accuracies.

연구 동기 및 목표

• 적대적 훈련 하에서 선형 회귀에서 표준 위험과 강건 위험 사이의 근본적인 상호보완적 관계를 이해하기 위해.
• 계산 능력이나 훈련 데이터 크기와 관계없이 어떤 알고리즘의 성능 한계를 특성화하기 위해.
• 적대적 훈련 알고리즘이 n/p → δ 인 고차원 영역에서 이 상호보완적 관계를 어떻게 달성하는지 분석하기 위해.
• 데이터 크기, 데이터 품질, 모델 과다파rametrization 가 표준-강건 정확도 상호보완적 관계에 미치는 영향을 연구하기 위해.

제안 방법

• n과 p가 비율을 유지하며 증가하는 고차원 점진적 영역을 사용하며, n/p → δ ∈ (0, ∞)이다.
• 표준 위험과 적대적 위험에 대한 정확한 표현을 유도하기 위해 볼록 가우시안 최소최대 정리를 적용한다.
• 가용 가능한 (표준 위험, 적대적 위험) 쌍의 파레토 최적 경계에 대한 점진적 표현을 유도한다.
• 최소-최대 적대적 훈련 설정을 도입하고 고급 가우시안 과정 부등식을 사용하여 그 성능을 분석한다.
• 매개변수 α, ε, τ*, μ, ω를 포함하는 고정점 방정식 시스템을 해결하여 평형 행동을 특성화한다.
• 표준 리지 회귀에서의 정규화 매개변수 λ 와 적대적 훈련에서의 편향 수준 ε 사이의 매핑을 수립한다.

실험 결과

연구 질문

• RQ1 알고리즘적 또는 데이터 제약과 무관하게 선형 회귀에서 표준 위험과 적대적 위험 사이의 근본적인 상호보완적 관계는 무엇인가?
• RQ2 데이터 크기와 품질은 적대적 훈련에서 표준-강건 정확도 상호보완적 관계에 어떻게 영향을 미치는가?
• RQ3 모델 과다파rametrization 은 가용 가능한 표준 위험과 강건 위험 사이의 상호보완적 관계에 어떤 영향을 미치는가?
• RQ4 최근의 최소-최대 적대적 훈련 알고리즘은 이론적 한계에 비해 어떻게 성능을 발휘하는가?
• RQ5 추가적인 비라벨 데이터로 상호보완적 관계를 완화할 수 있으며, 이는 점진적 위험 표현에 어떻게 반영되는가?

주요 결과

• 고차원 극한에서 가용 가능한 (표준 위험, 적대적 위험) 쌍의 파레토 최적 경계가 정확히 특성화된다.
• 계산적 또는 데이터 제약이 없더라도 표준 위험과 강건 위험 사이에 비트리비얼한 상호보완적 관계가 존재한다.
• 적대적 훈련 알고리즘이 이론적 파레토 경계 위에 위치하는 위험 쌍을 달성함으로써 이 영역에서 최적성을 보여준다.
• 상호보완적 관계는 비율 δ = n/p 에 의해 정량적으로 영향을 받으며, δ 가 감소할수록 성능이 악화된다.
• 적대적 훈련에서의 편향 수준 ε 는 리지 회귀에서의 정규화 매개변수 λ 와 매핑될 수 있으며, 직접적인 대응 관계를 드러낸다.
• 고정점 방정식 시스템 (6.50) 은 γ₀^ε 와 A^ε 의 평형 값을 결정하며, 이는 위험 상호보완적 관계를 완전히 특성화한다.