[논문 리뷰] Minimum Density Hyperplanes

Nicos G. Pavlidis, David P. Hofmeyr외 1명|arXiv (Cornell University)|2015. 07. 15.

Face and Expression Recognition참고 문헌 50인용 수 3

한 줄 요약

이 논문은 최소 밀도 초평면을 소개한다. 이는 초평면을 따라 경험적 밀도의 적분을 최소화하여 고밀도 영역을 피하는 새로운 분류기이다. 최소 밀도 초평면과 최대 마진 초평면 간의 점근적 동치성을 증명하며, 이는 서포트 벡터 기반 분류기(SVM)와 준감독 학습과의 연관성을 제시한다. 또한 효율적인 계산을 위한 투영 추적(Projection Pursuit) 방법을 제안하며, 강력한 경험적 성능을 보인다.

ABSTRACT

Associating distinct groups of objects (clusters) with contiguous regions of high probability density (high-density clusters), is central to many statistical and machine learning approaches to the classification of unlabelled data. We propose a novel hyperplane classifier for clustering and semi-supervised classification which is motivated by this objective. The proposed minimum density hyperplane minimises the integral of the empirical probability density function along it, thereby avoiding intersection with high density clusters. We show that the minimum density and the maximum margin hyperplanes are asymptotically equivalent, thus linking this approach to maximum margin clustering and semi-supervised support vector classifiers. We propose a projection pursuit formulation of the associated optimisation problem which allows us to find minimum density hyperplanes efficiently in practice, and evaluate its performance on a range of benchmark datasets. The proposed approach is found to be very competitive with state of the art methods for clustering and semi-supervised classification.

연구 동기 및 목표

• 고밀도 영역을 피하는 방식으로 군집을 분리하는 초평면 기반 분류기를 개발함으로써 통계적 원리인 저밀도 분리 원칙과 일치시킨다.
• 고차원에서 기존의 밀도 기반 군집화 방법의 한계를 해결하기 위해 전역적 밀도 추정이 아닌 국소적 밀도 성질에 초점을 맞춘다.
• 강력한 파rametric 가정이 필요 없는 통계적으로 타당한 방법을 제공하여 잘 정의된 모집단 양상(밀도 수준 집합)을 추정한다.
• 최대 마진 방법(SVM 등)과 밀도 기반 군집화 사이의 격차를 메우기 위해 최소 밀도 초평면과 최대 마진 초평면 간의 점근적 동치성을 증명한다.
• 저밀도 분리 가정을 활용하여 비라벨 데이터를 효과적으로 활용함으로써 준감독 분류를 가능하게 한다.

제안 방법

• 초평면을 따라 경험적 확률 밀도 함수의 적분을 최소화하는 최소 밀도 초평면을 제안하여 고밀도 군집을 피한다.
• 비볼록 최적화 문제를 효율적으로 해결하기 위해 투영 추적 형식을 사용하여 고차원 공간에서도 실용적인 계산을 가능하게 한다.
• 대역폭 매개변수 h를 사용한 커널 밀도 추정을 통해 경험적 밀도 함수를 근사한다.
• 대역폭 h → 0일 때, 유일성 가정 하에 최소 밀도 초평면이 최대 마진 초평면으로 수렴함을 증명한다.
• 서포트 벡터와 마진 제약 조건을 기반으로 한 기하학적 추론을 통해 최소 밀도 해에 가까운 모든 초평면이 최대 마진 해에도 가까워야 함을 보인다.
• 최소 밀도 초평면과 최대 마진 초평면 간의 거리를 마진 이탈과 노름 제약 조건의 관점에서 바ounds하는 보조정리를 사용한다.

실험 결과

연구 질문

• RQ1 초평면을 따라 경험적 밀도의 적분을 최소화하는 방법이 통계적으로 타당한 방식으로 고밀도 군집을 효과적으로 분리할 수 있는가?
• RQ2 기본 가정 하에 최소 밀도 초평면과 최대 마진 초평면 간에 점근적 동치성이 성립하는가?
• RQ3 비볼록 최적화 문제임에도 불구하고 실용적으로 최소 밀도 초평면을 효율적으로 계산할 수 있는가?
• RQ4 기준 데이터셋에서 최신의 군집화 및 준감독 분류 알고리즘과 비교해 볼 때, 제안된 방법의 성능은 어떠한가?
• RQ5 최소 밀도 초평면이 준감독 학습에서 저밀도 분리 가정의 일반화 이점을 어떻게 계승하는가?

주요 결과

• 최소 밀도 초평면은 최대 마진 초평면과 점근적으로 동치되며, 밀도 기반 및 마진 기반 분류 간의 이론적 연결 고리를 확립한다.
• 제안된 투영 추적 형식은 고차원 데이터에서도 최소 밀도 초평면을 효율적으로 계산할 수 있도록 한다.
• 기준 데이터셋에서 경쟁력 있는 성능을 보이며, 군집화 및 준감독 분류 과제에서 최신 기법들과 견줄 만하거나 그 이상의 성능을 기록한다.
• 수렴 결과에 따르면 충분히 작은 대역폭 h에 대해 최소 밀도 초평면은 최대 마진 초평면과 동일한 데이터 분할을 유도한다.
• 증명에 따르면 최소 밀도 해에서 작은 거리 ɛ 이내에 있는 모든 초평면은 최대 마진 해에서도 역시 ɛ 이내에 있어야 하며, 이는 점근적 일致성을 확인한다.
• 이 방법은 고차원 데이터에 대해 강건하며, 전통적인 비모수적 밀도 추정에서 발생하는 차원의 저주를 피한다.