[논문 리뷰] Optimal learning via local entropies and sample compression

Nikita Zhivotovskiy|arXiv (Cornell University)|2017. 06. 04.

Machine Learning and Algorithms참고 문헌 29인용 수 7

한 줄 요약

이 논문은 분포에 의존하는 국소 엔트로피와 샘플 압축 기반 기법을 사용하여 분류 문제에 대한 새로운 위험 한계를 제안하며, 상수 요소를 제외한 최적의 학습률을 달성한다. 하드 마진 SVM에 대해 날카운 PAC 한계를 확립하고, 안정적인 압축과 투표 기반 기법을 통해 온라인에서 배치 학습으로의 변환을 개선하며, 다항 시간 알고리즘과 향상된 일반화 보장을 제공한다.

ABSTRACT

The aim of this paper is to provide several novel upper bounds on the excess risk with a primal focus on classification problems. We suggest two approaches and the obtained bounds are represented via the distribution dependent local entropies of the classes or the sizes of specific sample com- pression schemes. We show that in some cases, our guarantees are optimal up to constant factors and outperform previously known results. As an application of our results, we provide a new tight PAC bound for the hard-margin SVM, an extended analysis of certain empirical risk minimizers under log-concave distributions, a new variant of an online to batch conversion, and distribution dependent localized bounds in the aggregation framework. We also develop techniques that allow to replace empirical covering number or covering numbers with bracketing by the coverings with respect to the distribution of the data. The proofs for the sample compression schemes are based on the moment method combined with the analysis of voting algorithms.

연구 동기 및 목표

• 분포에 의존하는 국소 엔트로피를 활용하여, 분류 문제에서 경험 위험 최소화의 더 날카운 일반화 한계를 개발하기 위해.
• 특히 실현 가능한 경우에서 안정성과 함께 샘플 압축 기반 기법을 사용하여 최적의 초과 위험 한계를 확립하기 위해.
• 더 나은 위험률을 달성하는 안정적이고 다항 시간 내에 실행 가능한 알고리즘을 구성함으로써 온라인에서 배치 학습으로의 변환을 향상시키기 위해.
• 전통적인 커버링 수를 분포 기반 커버링으로 대체하여 데이터 분포에 적응하는 국소화된, 데이터에 의존하는 한계를 향상시키기 위해.
• 하드 마진 SVM에 대해 기존의 최소 최대 하한과 상수 요소 이내로 일치하는 새로운 날카운 PAC 한계를 제공하기 위해.

제안 방법

• 손실 클래스의 복잡도를 측정하기 위해 분포에 의존하는 국소 엔트로피를 사용하며, 이는 Lr(P) 공리의 반지름 2ε와 함수 클래스의 교차부를 덮기 위해 필요한 공리의 수를 정량화한다.
• 크기가 k인 샘플 압축 기반 기법을 적용하며, 이는 크기가 k인 압축된 부분 집합으로부터 전체 샘플을 복원하는 복원 함수를 사용한다.
• 압축 집합의 미세한 변형에 대해 복원 함수가 민감하지 않도록 보장함으로써 안정적인 압축 기반 기법을 도입한다.
• 초과 위험에 대한 고확률 한계를 유도하기 위해 모멘트 방법과 투표 알고리즘을 결합한다.
• 세 개의 압축된 샘플에 대한 투표 전략을 사용하여 일반화를 향상시키며, 위험률을 O(k log(k)/n)에서 O(k log(k)/n + log(1/δ)/n)로 개선한다.
• empirical 또는 브라켓팅 커버링 수를 분포 기반 커버링으로 대체하여 국소화되고 데이터에 의존하는 한계를 달성한다.

실험 결과

연구 질문

• RQ1 국소 엔트로피 측정법이 전통적인 커버링 수보다 더 날카운, 분포에 의존하는 일반화 한계를 제공할 수 있는가?
• RQ2 안정성과 함께 샘플 압축 기반 기법이 실현 가능한 분류 설정에서 최적의 학습률을 달성할 수 있는가?
• RQ3 일반적인 분포 하에서 하드 마진 SVM에 대해 다항 시간 알고리즘이 달성할 수 있는 최적의 위험률은 무엇인가?
• RQ4 온라인 학습 알고리즘은 어떻게 개선된 위험 보장을 갖는 배치 학습으로 변환될 수 있는가?
• RQ5 분포 기반 커버링이 경험적 또는 브라켓팅 커버링을 대체하여 더 날카운, 국소화된 한계를 도출할 수 있는가?

주요 결과

• 논문은 하드 마진 SVM에 대해 날카운 PAC 한계를 확립한다: 초과 위험 R(𝑓̂) ≲ d log(d)/n + log(1/δ)/n이며, 상수 요소 이내로 최소 최대 하한과 일치한다.
• 실현 가능한 경우의 선형 반공간 클래스에 대해 다항 시간 알고리즘이 최적의 속도 d log(d)/n + log(1/δ)/n를 달성한다.
• 세 개의 압축된 샘플에 대한 투표를 통한 제안된 온라인에서 배치로의 변환은 위험률 O(k log(k)/n + log(1/δ)/n)을 달성하며, 기존에 알려진 최고의 한계에 거의 근접한다.
• 이전 결과보다 개선된 점은 log(k/δ) 요소를 log(1/δ)로 대체하여 신뢰도에 대한 더 날카운 의존성을 달성한 것이다.
• 분포에 의존하는 국소 엔트로피의 사용은 특정 설정에서 전통적인 커버링 수보다 더 날카운 한계를 가능하게 한다.
• 안정적인 샘플 압축 기반 기법이 최적의 초과 위험 한계를 제공하며, 이러한 기법에 대해 처음으로 고확률 한계가 도출되었다.