[논문 리뷰] Adversarially Robust Estimate and Risk Analysis in Linear Regression

Yue Xing, Ruizhi Zhang외 1명|arXiv (Cornell University)|2020. 12. 18.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 선형 회귀에 대한 이중단계 적대적 내성 학습 프레임워크를 제안하며, 희소성과 같은 모델 구조 정보를 적대적 추정에 통합한다. 최소최대 수렴 속도를 유도하고 바하두르 표현을 수립함으로써, 최적의 추정 효율성을 달성하며 이론적 트레이드오프를 확인한다: 적대적 내성은 일반화 성능을 떨어뜨리지만, 레이블이 없는 데이터는 이를 향상시킨다.

ABSTRACT

Adversarially robust learning aims to design algorithms that are robust to small adversarial perturbations on input variables. Beyond the existing studies on the predictive performance to adversarial samples, our goal is to understand statistical properties of adversarially robust estimates and analyze adversarial risk in the setup of linear regression models. By discovering the statistical minimax rate of convergence of adversarially robust estimators, we emphasize the importance of incorporating model information, e.g., sparsity, in adversarially robust learning. Further, we reveal an explicit connection of adversarial and standard estimates, and propose a straightforward two-stage adversarial learning framework, which facilitates to utilize model structure information to improve adversarial robustness. In theory, the consistency of the adversarially robust estimator is proven and its Bahadur representation is also developed for the statistical inference purpose. The proposed estimator converges in a sharp rate under either low-dimensional or sparse scenario. Moreover, our theory confirms two phenomena in adversarially robust learning: adversarial robustness hurts generalization, and unlabeled data help improve the generalization. In the end, we conduct numerical simulations to verify our theory.

연구 동기 및 목표

• 예측 성능를 초월하여 적대적 내성 추정기의 통계적 성질을 이해하기 위해.
• 특히 희소성과 같은 모델 구조를 통합함으로써 적대적 내성과 추정 효율성이 향상되는지 조사하기 위해.
• 표준 일반화 성능와 적대적 일반화 성능 사이의 트레이드오프를 공식적으로 분석하기 위해.
• 구조 정보를 적대적 내성 추정에 통합하는 이중단계 프레임워크를 개발하기 위해.
• 통계적 추론을 위해 바하두르 표현을 통해 제안된 추정기의 점근 정규성과 일致성(일致성)을 수립하기 위해.

제안 방법

• 이중단계 적대적 학습 프레임워크를 제안: 먼저 희소성 인식 방법(예: 라소)을 사용해 표준 모델을 추정한 후, 적대적 편향 하에서 추정치를 보정한다.
• 적대적 추정 오차에 대한 최소최대 하한을 도출하여, 희소성과 같은 모델 구조에서의 잠재적 이득을 드러낸다.
• 적대적 내성 추정기의 바하두르 표현을 수립하여, 정규 조건 하에서 점근 정규성과 추론이 가능하게 한다.
• 추정 오차의 상한을 분석하여, 저차원 및 희소 설정에서 최소최대 최적 수렴 속도에 도달함을 보여준다.
• 스펙트럼 노름과 프로베니우스 내적을 사용하여 최소최대 최적화 프레임워크 내에서 적대적 위험과 편향 제약 조건을 수학적으로 정의한다.
• 수치 시뮬레이션을 통해 이론적 결과를 검증하며, 다양한 노이즈 수준과 편향 크기에서의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 선형 회귀에서 적대적 내성 추정기의 통계적 최소최대 수렴 속도는 무엇인가?
• RQ2 모델 구조(예: 희소성)를 통합할 경우 추정 효율성과 적대적 내성에 어떤 영향을 미치는가?
• RQ3 이중단계 프레임워크는 표준 추정에서의 구조 정보를 적대적 내성 추정으로 효과적으로 전이할 수 있는가?
• RQ4 적대적 내성은 본질적으로 표준 일반화 성능을 저하시키는가?
• RQ5 레이블이 없는 데이터는 선형 모델에서 적대적 일반화를 어느 정도 향상시킬 수 있는가?

주요 결과

• 노이즈가 없는 경우조차도 적대적 추정 오차의 최소최대 하한이 0이 아니며, 이는 희소 모델에서 적대적 내성 추정기가 참값을 정확히 복원할 수 없음을 시사한다.
• 제안된 이중단계 추정기는 저차원 및 희소 설정 모두에서 최소최대 최적 수렴 속도를 달성한다.
• 적대적 내성은 표준 일반화 성능을 떨어뜨리며, 내성과 표준 정확도 사이의 트레이드오프를 확인한다.
• 레이블이 없는 데이터는 이론적 분석과 시뮬레이션 결과를 통해 적대적 일반화를 향상시킨다.
• 추정기의 바하두르 표현은 점근 정규성을 암시하며, 미약한 정규 조건 하에서 유효한 통계적 추론이 가능하다.
• 수치 결과는 제안된 추정기의 경험적 적대적 위험가 이론적 최소최대 하한에 매우 가까이 따라가며, 특히 희소성 조건에서 뚜렷하다.