[논문 리뷰] Learning Low-Density Separators

Shai Ben-David, Tyler Lu외 2명|ArXiv.org|2008. 05. 19.

Machine Learning and Algorithms참고 문헌 13인용 수 11

한 줄 요약

이 논문은 R^d 상의 알려지지 않은 연속 확률 분포에 대해 가장 낮은 밀도를 가진 동차 초평면 분리자(separator)를 학습하는 새로운 비지도 학습 문제를 제안한다. 소프트 마진 및 하드 마진이라는 두 가지 알고리즘 프레임워크를 제안하며, 풍부한 분포 클래스에 대해 그들의 보편적 일致성(universal consistency)을 증명하면서, 모든 분포에 걸쳐 균일 수렴 속도(uniform convergence rates)를 확보할 수는 없다는 점을 보여준다.

ABSTRACT

We define a novel, basic, unsupervised learning problem - learning the lowest density homogeneous hyperplane separator of an unknown probability distribution. This task is relevant to several problems in machine learning, such as semi-supervised learning and clustering stability. We investigate the question of existence of a universally consistent algorithm for this problem. We propose two natural learning paradigms and prove that, on input unlabeled random samples generated by any member of a rich family of distributions, they are guaranteed to converge to the optimal separator for that distribution. We complement this result by showing that no learning algorithm for our task can achieve uniform learning rates (that are independent of the data generating distribution).

연구 동기 및 목표

• 알려지지 않은 확률 분포의 가장 낮은 밀도를 가진 동차 초평면 분리자를 정의하고 형식화하는 것.
• 연속 분포로부터 유한한 i.i.d. 표본으로부터 이러한 분리자를 학습하는 것의 이론적 가능성을 조사하는 것.
• 자연스러운 알고리즘 프레임워크 하에서 보편적 일치성(최적의 분리자로의 점근적 수렴)이 달성 가능한지 평가하는 것.
• 이 작업에 대해 데이터 생성 분포에 독립적인 균일 학습 속도(uniform learning rates)가 가능한지 여부를 규명하는 것.
• 반감지 학습 및 클러스터링 안정성에 있어서 저밀도 분리자에 대한 이론적 기초를 마련하는 것.

제안 방법

• 기본 분포의 밀도를 최소화하는 원점을 통과하는 동차 초평면을 찾는 것으로 학습 과제를 형식화한다.
• 소프트 마진 알고리즘을 제안하며, 표본 크기에 따라 조정되는 마진 내의 경험적 무게가 가장 낮은 초평면을 선택한다.
• 하드 마진 알고리즘을 제안하며, 가장 넓은 마진을 가지는 초평면을 선택하여 가장 가까운 데이터 포인트와의 거리를 최대화한다.
• 비모수적이고 분포에 종속되지 않는 접근 방식을 사용하며, 오직 데이터 분포가 연속 밀도 함수를 가진다는 가정만 한다.
• 특히 일차원 경우에서 저밀도 영역의 표본 실수 확률에 대한 확률적 경계를 사용하여 일치성 분석을 수행한다.
• 대칭성과 농도 집중 원리를 적용하여, 두 대칭 분포에서 유래한 표본이 저밀도 영역을 피할 경우, 고도로 확률적으로 이들을 신뢰성 있게 구분할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 유한한 i.i.d. 표본으로부터 알려지지 않은 연속 분포로부터 가장 낮은 밀도의 동차 초평면 분리자를 일관되게 식별할 수 있는가?
• RQ2 이 문제에 대해 풍부한 분포 가족 전반에서 보편적 일치성을 보장하는 알고리즘 프레임워크가 존재하는가?
• RQ3 이 학습 과제에 대해 데이터 생성 분포에 독립적인 균일 수렴 속도를 달성하는 것이 가능한가?
• RQ4 저밀도 분리자의 구조는 반감지 학습 및 클러스터링 안정성과 같은 실용적 문제와 어떻게 관련이 있는가?
• RQ5 하드 마진 알고리즘의 일관성은 일차원 영역을 초월해 고차원 유클리드 공간으로 확장될 수 있는가?

주요 결과

• 소프트 마진 및 하드 마진 알고리즘은 R^d 상의 풍부한 연속 확률 분포 가족에 대해 저밀도 분리자 학습 문제에서 보편적 일치성을 갖는다.
• 일차원에서는 표본 크기가 증가함에 따라 두 알고리즘이 최적의 분리자로 수렴할 확률이 1에 수렴함을 증명한다.
• 논문은 근본적인 부정적 결과를 확립한다: 이 가족의 모든 분포에 걸쳐 균일 학습 속도를 확보할 수 있는 유한 표본 기반 알고리즘이 존재하지 않는다.
• 모든 δ > 0 과 충분히 큰 n 에 대해, 표본 크기 m 이 저밀도 영역과 교차하지 않을 확률가 > 1−δ 인 분포(예: 대칭적인 V자형 밀도)가 존재하며, 이 경우 오차가 1/2 이하로는 이를 구분할 수 없다.
• 분포 f 와 g 가 서로 반사 대칭인 경우, 저밀도 영역을 피하는 표본 간의 불가분성(indistinguishability)이 발생하며, 이는 균일 속도의 불가능성을 증명한다.
• 결과적으로 반감지 학습에서 흔히 쓰이는 히우리스틱, 예를 들어 비라벨 데이터에 대해 마진을 최대화하거나 희박한 분리 초평면을 찾는 것에 대한 이론적 근거를 제공한다.