[논문 리뷰] VC Classes are Adversarially Robustly Learnable, but Only Improperly

Omar Montasser, Steve Hanneke외 1명|arXiv (Cornell University)|2019. 02. 12.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 43

한 줄 요약

본 논문은 임의의 유한 VC-차원 클래스가 부적합 학습 규칙(improper learning rules)을 사용하여 적대적 노출에 대해 강건하게 PAC 학습이 가능하다고 보이며, 반면 일부 유한-VC 클래스는 어떠한 적합 규칙으로도 강건하게 PAC 학습 가능하지 않다.

ABSTRACT

We study the question of learning an adversarially robust predictor. We show that any hypothesis class $\mathcal{H}$ with finite VC dimension is robustly PAC learnable with an improper learning rule. The requirement of being improper is necessary as we exhibit examples of hypothesis classes $\mathcal{H}$ with finite VC dimension that are not robustly PAC learnable with any proper learning rule.

연구 동기 및 목표

• 주어진 가설 클래스에 대해 특정 적대자 아래에서 적대적으로 강건한 PAC 학습이 가능한지 특징짓기.
• 강건한 환경에서 적합 학습과 비적합 학습의 차이를 구분하고, 비적합 학습이 필요한 경우를 식별하기.
• VC 가정하에 강건 학습의 샘플 복잡도에 대한 유한 표본 및 점근적 경계를 제시하기.

제안 방법

• 적대자 매핑 U를 가진 강건 위험(Robust Risk)을 형식화하고 realizable 및 agnostic 설정에서 강건 PAC 학습을 정의하기.
• 어떤 적합 규칙으로도 강건하게 PAC 학습 가능하지 않다는 부정적 결과를 보이기.
• 모든 유한-VC 클래스가 비적합 학습 규칙을 통해 강건하게 PAC 학습 가능함을 보이는 긍정적 결과를 입증하고, 샘플 복잡도 경계를 dual VC 차원 vc*(H)에 연결하기.
• 부분 복원/부스팅 기반 학습 체계를 개발하여 0개의 실증 강건 손실을 달성하고 강건 학습자를 도출하기.
• realizable 결과를 agnostic 설정으로 확장하기 위해 agnostic에서 realizable로의 환원(reduction)을 사용하기.

실험 결과

연구 질문

• RQ1 유한 VC-차원의 가설 클래스가 적대적 교란 하에서 강건하게 PAC 학습될 수 있으며, 적합 학습으로 충분한가?
• RQ2 강건 PAC 학습에서 적합 학습의 한계는 무엇이며, 비적합 학습이 이를 극복할 수 있는가?
• RQ3 적대적 강건성 하에서 샘플 복잡도와 경계는 VC(H)와 dual VC 차원 vc*(H)에 따라 어떻게 달라지는가?
• RQ4 agnostic에서 realizable로의 환원이 강건 학습 설정으로도 적용되는가?
• RQ5 유한-VC 클래스를 위한 강건 일반화를 달성할 수 있는 구성적 학습 절차는 무엇인가?

주요 결과

• vc(H) ≤ 1인 일부 finite-VC 클래스가 특정 적대자 하에서 어떤 적합 학습 규칙으로도 강건하게 PAC 학습 가능하지 않음이 존재한다.
• 어떤 적대자 U와 어떠한 finite-VC 클래스 H에 대해서도 비적합 학습 규칙은 H를 강건하게 PAC 학습시킬 수 있으며, 이는 vc(H)에 의해 지수적 의존을 가질 수 있다.
• 유한 VC 차원은 비적합 강건 학습 가능성을 보장하며, 압축/부스팅 기술을 확장한 RERM 유사 접근법을 통해 강건 일반화를 가능하게 한다.
• 실현가능(realizable) 강건 학습 경계는 샘플-압축 접근법을 사용하여 얻어지며, 경계는 vc(H)와 dual VC 차원 vc*(H)에 의존한다.
• agnostic 설정에서 강건 학습 가능성은 realizable 케이스로의 환원에서 비롯되며, vc(H)와 vc*(H)에 의해 스케일되는 유한 샘플 보장을 제공한다.
• 압축 기반의 논증은 구성적 절차를 제공하며, 경우에 따라 강건 학습 가능성이 어떤 경우에는 비적합 학습을 필요로 할 수 있음을 시사한다.