[논문 리뷰] Learners that Use Little Information

Raef Bassily, Shay Moran외 3명|arXiv (Cornell University)|2017. 10. 14.

Machine Learning and Algorithms인용 수 45

한 줄 요약

이 논문은 입력 데이터에 대해 최대 d비트의 정보를 듸러내는 학습 알고리즘인 d비트 정보 학습자(d-bit information learners)를 소개하고, 이러한 알고리즘들이 일반화 성능이 뛰어나며, 일반화 오차가 상호정보량 I(A(S);S)로 유계임을 증명한다. 핵심 기여는 일반화 오차가 O(I(A(S);S)/(mε²))로 감소함을 보여주는 날카로운 샘플 복잡도 경계를 제시한 것이다. 또한, 저정보 학습자가 차별적 프라이버시가 실패하는 환경에서도 최소한의 정보 泄露를 동반하면서 최적의 PAC 학습을 달성할 수 있음을 보여준다.

ABSTRACT

We study learning algorithms that are restricted to using a small amount of information from their input sample. We introduce a category of learning algorithms we term $d$-bit information learners, which are algorithms whose output conveys at most $d$ bits of information of their input. A central theme in this work is that such algorithms generalize. We focus on the learning capacity of these algorithms, and prove sample complexity bounds with tight dependencies on the confidence and error parameters. We also observe connections with well studied notions such as sample compression schemes, Occam's razor, PAC-Bayes and differential privacy. We discuss an approach that allows us to prove upper bounds on the amount of information that algorithms reveal about their inputs, and also provide a lower bound by showing a simple concept class for which every (possibly randomized) empirical risk minimizer must reveal a lot of information. On the other hand, we show that in the distribution-dependent setting every VC class has empirical risk minimizers that do not reveal a lot of information.

연구 동기 및 목표

• 학습 알고리즘이 훈련 데이터로부터 최소한의 정보를 사용할 경우 일반화 성능이 뛰어나다는 직관을 형식화하기 위해.
• 입력에 대해 최대 d비트의 정보만 드러내는 것을 제약 조건으로 하는 학습 알고리즘의 샘플 복잡도를 분석하기 위해.
• 저정보 학습, 샘플 압축, 오카무의 낫, PAC-Bayes, 차별적 프라이버시 간의 연결 고리를 확립하기 위해.
• 분포 의존 설정에서, 모든 VC 클래스는 O(d log m) 비트의 정보 泄露로 학습될 수 있음을 보여주기 위해.
• 샘플 복잡도 및 정보 泄露 측면에서 차별적 프라이버시와 유계 상호정보량 간의 분리가 존재하는지 보여주기 위해.

제안 방법

• 입력 샘플 S와 출력 A(S) 사이의 상호정보량이 최대 d이도록 정의된 d비트 정보 학습자를 정의한다.
• 다양한 시각을 강조하는 네 가지의 다른 증명 기법을 사용하여 일반화 경계를 증명한다: P(|진실 오차 - 표본 오차| > ε) = O(I(A(S);S)/(mε²)).
• 학습 샘플에서 일관된 가설을 균일하게 랜덤으로 선택하는 일반적인 ERM 학습자를 제안하며, 일부 경우에서 정보를 최소화함을 보여준다.
• 임계값 개념 클래스에 대해, 모든 적절한 ERM가 최소 Ω(log log N / m²) 비트의 정보를 드러내야 한다는 하한선을 구성한다.
• 학습자가 데이터 분포 D_X를 알고 있는 분포 의존 설정을 도입하고, O(d log m) 비트의 정보 泄루를 유발하는 결정론적이고 일관된 학습자를 설계한다.
• ε_k-네트워크와 네트워크에 대한 계층적 탐색을 사용하여 출력의 엔트로피를 유계로 유지하고, 고확률로 종료되도록 보장한다.

실험 결과

연구 질문

• RQ1 입력에서 소량의 정보만 사용하는 학습 알고리즘이 잘 일반화될 수 있는가?
• RQ2 유계 상호정보량 I(A(S);S)를 가진 학습 알고리즘에 대해 가능한 가장 날카로운 샘플 복잡도 경계는 무엇인가?
• RQ3 간단한 설정에서도 모든 적절하고 일관된 ERM가 큰 양의 정보를 드러내야 하는 개념 클래스는 존재하는가?
• RQ4 사전에 데이터 분포가 알려진 분포 의존 설정에서 저정보 학습이 가능할 수 있는가?
• RQ5 샘플 복잡도 및 정보 泄루 측면에서 차별적 프라이버시와 유계 상호정보량 간에 분리가 존재하는가?

주요 결과

• d비트 정보 학습자의 일반화 오차는 O(I(A(S);S)/(mε²))로 유계이며, 이는 정보 사용과 일반화 간의 날카로운 관계를 확립한다.
• 오차 ε와 신뢰도 δ를 확보하기 위한 샘플 복잡도는 Ω(I(A(S);S)/(ε²δ)이며, 이 경계는 날카로우며, O(1)비트 정보 학습자를 구성함으로써 비영인 오차 확률 Ω(1/m)을 가진 예시로 이를 입증한다.
• 크기가 N인 도메인에서 임계값 개념 클래스에 대해, 모든 적절한 ERM는 최소 Ω(log log N / m²) 비트의 정보를 드러내야 하며, 이는 일부 단순 설정에서 내재된 정보 비용을 보여준다.
• 분포 의존 설정에서, 차원이 d인 모든 VC 클래스는 O(d log m) 비트의 정보 泄루만을 유발하는 결정론적이고 일관된 알고리즘으로 학습될 수 있으며, 이는 도메인 크기 N과 무관하다.
• 순수 차별적 프라이버시와 유계 상호정보량 간의 분리가 입증되었다: 점 함수 클래스는 적절한 ERM를 사용해 단 2비트의 정보 泄루로 학습될 수 있으나, 순수로 차별적 프라이버시를 보장하는 알고리즘은 N에 따라 증가하는 샘플 복잡도가 필요하다.
• 균일하게 일관된 가설을 랜덤으로 선택하는 일반적인 ERM는 일부 경우에 낮은 정보를 달성하지만, 다른 경우에서는 최적화되지 않을 수 있으며, 이는 맞춤형 저정보 학습자를 필요로 함을 시사한다.