[논문 리뷰] Efficiently Learning Adversarially Robust Halfspaces with Noise

Omar Montasser, Surbhi Goel외 2명|arXiv (Cornell University)|2020. 05. 15.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 $\varepsilon$-랜덤 분류 노이즈 하에서 적대적 방해에 강건한 하프스페이스를 효율적으로 학습하기 위한 必要하고 충분한 조건을 설정한다. 이는 임의의 $\ell_p$-퍼티urbation에 대해 계산적으로 효율적인 알고리즘이 존재함을 보여주며, 방해 집합 $\mathcal{U}$에 대해 분리 오라클이 존재할 경우 강건한 경험적 위험 최소화(RERM)가 효율적으로 해결 가능하다는 것을 증명한다. 또한 강건 손실을 계산하기 위해 근사 분리 오라클이 필수적임을 보이며, 노이즈가 있는 실현 가능 설정에서 효율적인 강건한 PAC 학습이 가능함을 보여준다.

ABSTRACT

We study the problem of learning adversarially robust halfspaces in the distribution-independent setting. In the realizable setting, we provide necessary and sufficient conditions on the adversarial perturbation sets under which halfspaces are efficiently robustly learnable. In the presence of random label noise, we give a simple computationally efficient algorithm for this problem with respect to any $\ell_p$-perturbation.

연구 동기 및 목표

• 반복 집합 $\mathcal{U}$에 대한 효율적인 강건한 PAC 학습을 위한 하프스페이스의 必要하고 충분한 조건을 규명하는 것.
• 실현 가능 및 노이즈 설정에서 강건한 경험적 위험 최소화(RERM)의 계산 복잡도를 분석하는 것.
• 강건한 경험적 위험 최소화(RERM)가 효율적으로 해결되기 위해 $\mathcal{U}$에 대한 효율적인 분리 오라클이 존재할 경우를 보여주며, 강건 손실을 계산하기 위해 근사 분리 오라클이 필수적임을 밝히는 것.
• 결과를 랜덤 분류 노이즈 모델으로 확장하여, 약간의 가정 하에 효율적인 강건한 학습이 가능함을 보여주는 것.
• 다양한 노이즈 및 퍼티urbation 모델 하에서 강건한 학습의 가능성과 불가능성의 경계를 명확히 하는 것.

제안 방법

• 반복 집합 $\mathcal{U}$에 대한 분리 오라클을 사용하여 RERM에 대한 다항 시간 알고리즘을 제안함으로써 실현 가능 케이스에서 효율적인 강건한 학습을 가능하게 한다.
• 강건한 0-1 손실을 근사하는 서로서트 손실 함수 $G_\lambda^\gamma({\bm{w}}, {\bm{x}})$를 통해 강건 위험 최소화 문제를 볼록 최적화 문제로 환원한다.
• 정규화된 목적 함수를 사용한 확률적 미러 강하(SMD)를 적용하여 강건 경험적 위험를 최소화하며, 랜덤 분류 노이즈 하에서 수렴 보장을 확보한다.
• 마진 기반 일반화 경계를 사용하여 $\gamma/2$-마진 오차를 강건 위험과 서로서트 손실과 연결한다.
• 하프스페이스의 강건 손실을 효율적으로 계산하기 위해 $\mathcal{U}$에 대한 효율적인 근사 분리 오라클이 필수적임을 증명한다.
• 알고리즘의 표본 복잡도를 분석하여, 미러 강하에 의한 $q$-노름 정규화 하에서 $q=1$일 경우 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2)$, $q>1$일 경우 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2(q-1))$의 표본 수를 확보한다.

실험 결과

연구 질문

• RQ1 실현 가능 설정에서 하프스페이스에 대해 강건한 경험적 위험 최소화(RERM)가 효율적으로 해결되기 위한 반복 집합 $\mathcal{U}$에 대한 조건은 무엇인가?
• RQ2 $\mathcal{U}$에 대한 효율적인 분리 오라클이 하프스페이스의 효율적 강건 학습에 필수적이고 충분한 조건인가?
• RQ3 랜덤 분류 노이즈 하에서 강건한 하프스페이스 학습이 효율적으로 수행될 수 있는가? 이 설정에서 표본 복잡도는 어떻게 되는가?
• RQ4 하프스페이스의 강건 손실을 계산하는 데 드는 계산 비용은 무엇이며, 이는 $\mathcal{U}$의 복잡도와 어떻게 관련되는가?
• RQ5 랜덤 노이즈 하에서 강건 일반화 오차는 마진 기반 오차와 서로서트 손실과 어떻게 관련되는가?

주요 결과

• 반복 집합 $\mathcal{U}$에 대한 효율적인 분리 오라클이 하프스페이스의 다항 시간 강건 경험적 위험 최소화(RERM)를 위한 충분조건이다.
• 하프스페이스의 강건 손실을 효율적으로 계산하기 위해 $\mathcal{U}$에 대한 효율적인 근사 분리 오라클이 필수적이다.
• 랜덤 분류 노이즈 모델 하에서, 임의의 $\ell_p$-퍼티urbation에 대해 하프스페이스는 효율적으로 강건하게 PAC 학습 가능하다.
• 제안된 알고리즘은 확률적 미러 강하 하에서 $q=1$일 경우 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2)$, $q>1$일 경우 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2(q-1))$의 표본 복잡도를 달성한다.
• 강건 위험는 $\gamma/2$-마진 오차와 서로서트 손실에 의해 바운딩되며, 이 바운딩은 $\varepsilon'$, $\lambda$, $\eta$에 의존하여 노이즈 하에서 일반화를 보장한다.
• 분석 결과 $\lambda = \frac{\varepsilon\gamma/2 + \eta}{1 + \varepsilon\gamma}$ 및 $\varepsilon' = \frac{\varepsilon\gamma(1 - 2\eta)}{2(1 + \varepsilon\gamma)}$일 경우 일반화 오차가 $\leq \varepsilon$가 되는 것이 보장된다.