[논문 리뷰] Computational Limitations in Robust Classification and Win-Win Results

Akshay Degwekar, Preetum Nakkiran외 1명|arXiv (Cornell University)|2019. 02. 04.

Cryptography and Data Security참고 문헌 39인용 수 7

한 줄 요약

이 논문은 표준 암호학적 가정 하에서, 효율적인 강건 분류기 존재 시에도 강건 분류기를 학습하는 것이 증명 가능하게 어렵다는 것을 보여줌으로써 강건 분류기 학습의 계산적 한계를 규명한다. 이는 강건 분류기를 효율적으로 학습할 수 있거나, 강건 학습의 어려움으로부터 기초 암호 primitive(예: 일방향 함수 또는 공개키 암호화)를 구성할 수 있는 승리-승리 상황임을 드러낸다.

ABSTRACT

We continue the study of statistical/computational tradeoffs in learning robust classifiers, following the recent work of Bubeck, Lee, Price and Razenshteyn who showed examples of classification tasks where (a) an efficient robust classifier exists, in the small-perturbation regime; (b) a non-robust classifier can be learned efficiently; but (c) it is computationally hard to learn a robust classifier, assuming the hardness of factoring large numbers. The question of whether a robust classifier for their task exists in the large perturbation regime seems related to important open questions in computational number theory. In this work, we extend their work in three directions. First, we demonstrate classification tasks where computationally efficient robust classification is impossible, even when computationally unbounded robust classifiers exist. For this, we rely on the existence of average-case hard functions. Second, we show hard-to-robustly-learn classification tasks in the large-perturbation regime. Namely, we show that even though an efficient classifier that is robust to large perturbations exists, it is computationally hard to learn any non-trivial robust classifier. Our first construction relies on the existence of one-way functions, and the second on the hardness of the learning parity with noise problem. In the latter setting, not only does a non-robust classifier exist, but also an efficient algorithm that generates fresh new labeled samples given access to polynomially many training examples (termed as generation by Kearns et. al. (1994)). Third, we show that any such counterexample implies the existence of cryptographic primitives such as one-way functions. This leads us to a win-win scenario: either we can learn an efficient robust classifier, or we can construct new instances of cryptographic primitives.

연구 동기 및 목표

• 대부분의 적대적 편향이 존재하는 상황에서 강건 분류기 학습의 계산 복잡도를 조사하기.
• 강건 분류기가 존재하지만, 그들조차도 계산적으로 효율적으로 학습될 수 없는 조건을 규명하기.
• 강건 학습의 어려움과 기본 암호 primitive 존재 간의 연결 고리를 설정하기.
• 기존의 강건 분류에서의 통계-계산적 트레이드오프 연구를 최소한의 가정 하에서 새로운 구성으로 확장하기.

제안 방법

• 암호학적 가정 없이 평균적인 어려움을 가진 함수에 기반하여, 강건 분류기가 존재하지만 계산적으로 학습하기 어려운 분류 작업을 구성하기.
• 학습된 노이즈가 있는 파리티(LPN) 문제와 오차 학습(LWE)을 사용하여, 효율적인 강건 분류기가 존재하지만 학습하기 어려운 작업을 구축하기.
• 만약 효율적인 강건 분류기를 학습할 수 없다면, 편향된 분포의 구분 가능성을 통한 감소를 통해 일방향 함수가 존재해야 한다는 것을 보여주기.
• 가짜 무작위 함수와 오류 수정 코드를 사용하여 학습하기 어려운 강건 분류 작업을 구성하기.
• 총 변동 거리와 통계적 구분 불가능성을 사용하여, 편향에 의해 유도된 분포 간의 분리 정도를 수학적으로 정의하기.
• 최소-최대 원리(min-max arguments)를 사용하여 시간 제한이 있는 보편적 편향 공격자(Adversary)를 구성하고, 적대적 강건성과 암호 보안 간의 연결 고리 설정하기.

실험 결과

연구 질문

• RQ1 강건 분류기가 존재하고 계산적으로 효율적인 경우에도, 그들을 효율적으로 학습할 수 있는가?
• RQ2 강건 분류기 학습이 증명 가능하게 어려워지는 데 필요한 최소한의 계산적 가정은 무엇인가?
• RQ3 강건 학습의 어려움과 암호 primitive 존재 간의 연결 고리가 존재하는가?
• RQ4 강건성이 계산적으로 학습하기 어려운 분류 작업을 구성할 수 있는가? 즉, 효율적인 강건 분류기 접근이 가능하더라도 학습이 불가능한가?
• RQ5 평균적인 어려움과 가짜 무작위성은 강건 분류의 계산적 한계에서 어떤 역할을 하는가?

주요 결과

• 이 논문은 암호학적 가정 없이 평균적인 어려움을 가진 함수의 존재만을 가정하여, 강건 분류기가 존재하지만 계산적으로 학습하기 어려운 분류 작업을 구성한다.
• 학습된 노이즈가 있는 파리티(LPN) 가정 하에서, 효율적인 강건 분류기가 존재하지만, 비강건 분류기보다도 학습하기 어려운 것으로 나타난다.
• 학습하기 어려운 강건 분류기의 존재는 일방향 함수의 존재를 암시하며, 이는 강건 학습이 효율적이거나 새로운 암호 primitive를 구성할 수 있다는 승리-승리 결과를 확립한다.
• 편향된 분포 $D'_0$ 와 $D'_1$ 간의 총 변동 거리는 최소 0.8 이상이며, 이는 통계적 구분 가능성을 나타내지만, 어떤 효율적인 알고리즘도 이를 구분할 수 없어 계산적 구분 불가능성을 암시한다.
• 강건 분류기는 편향된 분포 간의 구분자 역할을 하며, 이로 인해 유도된 통계적 분리와 계산적 구분 불가능성의 조합은 일방향 함수의 존재를 암시한다.
• 만약 편향 공격자가 적어도 0.4 이상의 확률로 적대적 예외를 찾을 수 있다면, 일방향 함수가 존재하게 되며, 이는 적대적 강건성과 기초 암호학 간의 연결 고리를 맺는다.