[논문 리뷰] Sample and Computationally Efficient Learning Algorithms under S-Concave Distributions

Maria-Florina Balcan, Hongyang Zhang|arXiv (Cornell University)|2017. 03. 22.

Machine Learning and Algorithms인용 수 9

한 줄 요약

이 논문은 s-볼록 분포라는 광범위한 클래스(로그-볼록 및 꼬리가 두꺼운 분포인 t- 및 파레토 분포를 일반화함)에서 선형 및 반평면 교차 분류기의 표본 및 계산 효율적인 학습 알고리즘을 소개한다. 저자들은 새로운 볼록 기하 도구를 개발하여 불일치 확률과 계수에 대한 경계를 수립함으로써, 이러한 분포 하에서 마진 기반, 불일치 기반, 수동적-수동적 학습의 이전 결과를 크게 일반화한다.

ABSTRACT

We provide new results for noise-tolerant and sample-efficient learning algorithms under $s$-concave distributions. The new class of $s$-concave distributions is a broad and natural generalization of log-concavity, and includes many important additional distributions, e.g., the Pareto distribution and $t$-distribution. This class has been studied in the context of efficient sampling, integration, and optimization, but much remains unknown about the geometry of this class of distributions and their applications in the context of learning. The challenge is that unlike the commonly used distributions in learning (uniform or more generally log-concave distributions), this broader class is not closed under the marginalization operator and many such distributions are fat-tailed. In this work, we introduce new convex geometry tools to study the properties of $s$-concave distributions and use these properties to provide bounds on quantities of interest to learning including the probability of disagreement between two halfspaces, disagreement outside a band, and the disagreement coefficient. We use these results to significantly generalize prior results for margin-based active learning, disagreement-based active learning, and passive learning of intersections of halfspaces. Our analysis of geometric properties of $s$-concave distributions might be of independent interest to optimization more broadly.

연구 동기 및 목표

• 로그-볼록 분포를 초월하여 더 넓은 클래스인 s-볼록 분포로 노이즈에 강건하고 표본 효율적인 학습 알고리즘을 확장하기 위해.
• s-볼록 분포가 마진화에 대해 닫혀 있지 않고 종종 꼬리가 두꺼워 이전 알고리즘 가정을 복잡하게 만들기 때문에 이를 해결하기 위해.
• 학습 이론에 관련된 s-볼록 분포의 기하적 성질을 분석하기 위한 새로운 볼록 기하 도구를 개발하기 위해.
• 기존의 반평면 교차 분류기의 마진 기반 수동적-수동적 학습, 불일치 기반 수동적-수동적 학습 및 수동 학습 결과를 s-볼록 설정으로 일반화하기 위해.
• s-볼록 분포 하에서 표본 및 레이블 복잡도 경계를 엄밀하게 설정하기 위해, 하한값을 포함하여.

제안 방법

• s < 0일 때 f(x)^s의 볼록성으로 정의되는 새로운 s-볼록 분포 클래스를 도입하여, 로그-볼록 분포를 일반화한다.
• s-볼록 분포 하에서의 마진화 성질과 초평면 불일치를 분석하기 위한 새로운 볼록 기하 도구를 개발한다.
• 등방성 s-볼록 분포 하에서 두 반평면 간의 불일치 확률과 불일치 계수에 대한 닫힌 형태의 경계를 수립한다.
• 이 기하 경계를 활용하여 수동 및 수동적 학습 알고리즘의 표본 복잡도 및 레이블 복잡도 보장을 유도한다.
• 세 가지 새로운 알고리즘을 설계하고 분석한다: 실현 가능한 및 노이즈가 있는 설정 하에서의 마진 기반 수동적 학습, 그리고 s-볼록 분포 하에서의 반평면 교차 학습.
• 집중 불등식과 의사-차원 경계를 활용하여 제안된 학습 절차의 일반화 및 일致성 증명한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 t- 및 파레토와 같은 꼬리가 두꺼운 분포를 포함하는 더 넓은 클래스인 s-볼록 분포 하에서 표본 및 계산 효율적인 학습 알고리즘을 만들 수 있는가?
• RQ2 불일치 확률과 계수에 대한 더 엄밀한 경계를 가능하게 하는 s-볼록 분포의 기본 기하적 성질은 무엇인가?
• RQ3 기존의 반평면에 대한 수동적-수동적 학습 알고리즘이 s-볼록 분포로 얼마나 일반화될 수 있으며, 그로 인해 얻어지는 표본 및 레이블 복잡도 향상 정도는 어떠한가?
• RQ4 알고리즘 실행 가능성과 성능 측면에서 s-볼록 분포의 기하적 성질은 로그-볼록 및 거의 로그-볼록 분포와 어떻게 비교되는가?
• RQ5 s-볼록 분포 하에서 동차 반평면을 학습하기 위한 정보 이론적 하한값은 표본 및 레이블 복잡도에 대해 무엇인가?

주요 결과

• m개 변수에 대한 등방성 s-볼록 분포의 마진 분포는 등방성 γ(s,m)-볼록 분포이며, 마진화에 대한 약한 닫힘 성질을 확립한다.
• 임의의 두 단위 벡터 u와 v에 대해 불일치 확률 Pr[sign(u·x) ≠ sign(v·x)]는 f₁(s,n)θ(u,v)로 하한이 있으며, 여기서 θ(u,v)는 그들 사이의 각도이다.
• s-볼록 분포 하에서의 불일치 계수는 f₃(s,n)로 경계되며, 이는 수동적 학습에서 개선된 일반화 경계를 가능하게 한다.
• s-볼록 분포 하에서 동차 선형 분리자에 대한 수동적 PAC 학습의 표본 복잡도는 Ω(n log(f₁(s,n)/ε))이며, 로그 인자에 대해 알려진 하한값과 일치한다.
• s-볼록 분포 하에서의 수동적 학습 레이블 복잡도는 Ω(log M_D(C,ε))이며, 이는 이 클래스 하에서 개선이 정보 이론적으로 가능함을 보여준다.
• 제안된 알고리즘은 이전의 로그-볼록 및 거의 로그-볼록 분포에 대한 결과를 일반화하고 개선한 표본 및 레이블 복잡도 경계를 달성한다.