[논문 리뷰] The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2020. 07. 30.

Machine Learning and Algorithms참고 문헌 59인용 수 4

한 줄 요약

이 논문은 분포 독립적 악성 PAC 모델에서 $L_p$ 노이즈에 대한 반복적 강건한 적절한 학습의 계산 복잡도를 규명한다. $p \geq 2$ 인 $L_p$-마진 학습에 대해 계산적으로 효율적인 학습 알고리즘을 제안하며, 거의 매칭되는 딱지 결과를 증명하여 $L_\infty$의 경우가 $2 \leq p < \infty$ 인 $L_p$보다 계산적으로 더 어렵다는 것을 보여주며, 이러한 노름들 사이의 계산 난이도에 근본적인 격차가 있음을 시사한다.

ABSTRACT

We study the computational complexity of adversarially robust proper learning of halfspaces in the distribution-independent agnostic PAC model, with a focus on $L_p$ perturbations. We give a computationally efficient learning algorithm and a nearly matching computational hardness result for this problem. An interesting implication of our findings is that the $L_{\infty}$ perturbations case is provably computationally harder than the case $2 \leq p &lt; \infty$.

연구 동기 및 목표

• 분포 독립적 악성 PAC 모델에서 하프스페이스의 반복적 강건한 적절한 학습의 계산 복잡도를 이해하는 것.
• $L_p$ 노이즈에 대한 문제를 분석하며, 특히 $L_2$와 $L_\infty$ 노름 사이의 차이에 초점을 맞추는 것.
• 강건한 학습에 대해 거의 매칭되는 계산 난이도 결과를 확립하여, $L_\infty$-강건한 학습이 $2 \leq p < \infty$ 인 $L_p$-강건한 학습보다 계산적으로 더 어렵다는 것을 증명하는 것.
• 강건성과 오차 보장을 약간 완화함으로써 알려진 딱지 결과와 효율적인 알고리즘 사이의 격차를 메우며, 효율적인 적절한 학습을 가능하게 하는 것.

제안 방법

• 저자들은 $L_p$와 $L_q$ 노름 간의 쌍대성($1/p + 1/q = 1$)을 활용하여, 강건한 학습 문제를 $L_p$ 마진이 있는 하프스페이스의 고전적 악성 적절한 PAC 학습 문제로 환원한다.
• 약간 축소된 노이즈 반경 $(1-\nu)\gamma$ 내에서 하프스페이스 가설을 출력하고 최적의 강건 오차에 대해 $\alpha$-근사값을 달성하는 계산적으로 효율적인 학습 알고리즘을 설계한다.
• 딱지 결과는 레이블 커버 문제에서의 환원을 통해 도출되며, 랜덤 할당이 레이블 커버 인스턴스의 정점에 약하게 커버할 확률을 확률 분석을 통해 근사한다.
• 분석 과정에서는 랜덤 레이블링 $\phi$의 기대 약한 값에 대한 상한을 구하며, 이는 차수 제약 조건과 이웃 쌍에 대한 조합적 상한을 사용한다.
• 환원 과정은 근사 비율을 유지하도록 구성되어 있으며, 2보다 나은 근사 비율을 달성하는 임의의 효율적 알고리즘이 Gap-ETH 하에서 레이블 커버의 근사 불가능성과 모순됨을 보여준다.
• 증명 기법은 확률적 방법과 농도 경계를 활용하여, 높은 약한 값을 갖는 레이블링이 존재함을 보이며, 이는 좋은 가설의 존재를 암시한다.

실험 결과

연구 질문

• RQ1 2 \leq p < \infty 인 $L_p$ 노이즈에 대한 반복적 강건한 적절한 하프스페이스 학습은 계산적으로 다룰 수 있는가?
• RQ2 2 \leq p < \infty 인 $L_\infty$-강건한 학습의 계산 복잡도는 $L_p$-강건한 학습보다 어떻게 다른가?
• RQ3 딱지 결과를 2보다 나은 근사 비율을 배제하거나 더 큰 마진 갭으로 확장할 수 있는가?
• RQ4 Gap-ETH 하에서의 딱지 결과는 타이트한가, 아니면 더 약한 지수 시간 가설(ETH) 하에서도 증명될 수 있는가?
• RQ5 이 문제에 대해 비적절한 학습 알고리즘이 적절한 학습자보다 훨씬 빠른 런타임을 달성할 수 있는가?

주요 결과

• 이 논문은 $p \geq 2$ 인 $L_p$-마진 하프스페이스 학습에 대해 계산적으로 효율적인 적절한 학습 알고리즘을 제시하며, 약간 축소된 노이즈 반경 $(1-\nu)\gamma$ 내에서 최적의 강건 오차에 대해 $\alpha$-근사값을 달성한다.
• 거의 매칭되는 계산 난이도 결과가 확립되어, $L_\infty$-강건한 학습이 $2 \leq p < \infty$ 인 $L_p$-강건한 학습보다 계산적으로 더 어렵다는 것이 증명되며, 이러한 노름들 사이에 근본적인 복잡도 격차가 있음을 시사한다.
• 딱지 결과는 레이블 커버에서의 환원에 기반하며, 표준 복잡도 가정 하에서 어떤 효율적 알고리즘도 2보다 나은 근사 비율을 달성할 수 없음을 보여주며, 약간 완화된 강건성 조건 하에서도 마찬가지이다.
• 레이블 커버 인스턴스에서 랜덤 레이블링의 기대 약한 값은 $\mu = \frac{0.01t}{\Delta(\Delta-1)}$ 이하로 하한이 설정되며, 이는 높은 약한 값을 갖는 레이블링이 존재함을 의미하며, 이는 학습 문제에서 좋은 가설에 대응한다.
• 결과는 $L_\infty$-마진 설정이 $2 \leq p < \infty$ 인 $L_p$와 비교해 본질적으로 더 복잡하다는 것을 암시하며, 둘 다 같은 일반적인 강건한 학습 문제의 범주에 속함에도 불구하고 그렇다.
• 논문은 ETH 하에서 더 강력한 딱지 결과의 가능성과 더 빠른 비적절한 학습 알고리즘의 잠재성을 열어두며, 향후 연구 방향을 제시한다.