[논문 리뷰] Quickshift++: Provably Good Initializations for Sample-Based Mean Shift

Heinrich Jiang, Jennifer Jang외 1명|arXiv (Cornell University)|2018. 05. 21.

Advanced Clustering Algorithms Research참고 문헌 35인용 수 15

한 줄 요약

Quickshift++는 과도한 분할을 줄이기 위해 점 모드 대신 국소적으로 고밀도 영역인 클러스터 코어를 사용하여 샘플 기반 평균 이동을 초기화하는 증명 가능하게 일관된 군집화 방법을 제안한다. 수정된 MCores 알고리즘을 통해 이러한 클러스터 코어를 추정하고 k-NN 밀도 추정을 사용함으로써, 최소한의 하이퍼파rameter 조정으로 다양한 데이터셋에서 뛰어난 성능과 강건성을 달성한다.

ABSTRACT

We provide initial seedings to the Quick Shift clustering algorithm, which approximate the locally high-density regions of the data. Such seedings act as more stable and expressive cluster-cores than the singleton modes found by Quick Shift. We establish statistical consistency guarantees for this modification. We then show strong clustering performance on real datasets as well as promising applications to image segmentation.

연구 동기 및 목표

• Quick Shift와 Mean Shift와 같은 모드 탐색 군집 알고리즘에서 미세한 밀도 변동을 별개의 모드로 간주하는 과도한 분할 문제를 해결한다.
• 단일 점 모드가 아닌 국소적으로 고밀도 영역(클러스터 코어)으로 군집을 모델링하여 더 안정적이고 표현력 있는 군집 표현을 개발한다.
• 제안된 초기화 프레임워크 하에서 군집 복원에 대한 통계적 일관성 보장을 제공한다.
• 특히 주요 하이퍼파rameter β에 대해 최소한의 조정으로 다양한 실제 데이터셋에서 강건한 성능을 입증한다.
• 복잡한 작업, 예를 들어 이미지 분할에 효과적으로 적용할 수 있도록 클러스터 코어의 구조를 활용한다.

제안 방법

• Jiang & Kpotufe(2017)의 MCores 알고리즘을 수정하여 클러스터 코어를 추정하며, 밀도 내 변화를 제어하기 위해 β로 파arameter화한다.
• 표본 밀도를 계산하기 위해 k-NN 밀도 추정을 사용하여 표준 KDE에 가우시안 커널을 사용하는 것보다 안정성과 효율성을 향상시킨다.
• 각 데이터 포인트에서 Quick Shift의 언덕 등반 절차를 시작하지만, 점 모드에 도달하는 대신 클러스터 코어에 도달할 때까지 정지한다. 이는 코어 소속 기반의 정지 조건을 사용한다.
• 각 포인트를 수렴하는 클러스터 코어에 할당하며, 클러스터 코어를 최종 군집 대표로 간주한다.
• Quick Shift에서 τ 파rameter가 필요 없도록 클러스터 코어를 자연스러운 정지 지점으로 사용함으로써 알고리즘을 단순화한다.
• 경미한 정규성 조건 하에서, 클러스터 코어의 흡인 영역에 속하는 포인트가 올바르게 그 코어에 할당됨을 보여주는 이론적 일관성 분석을 제공한다.

실험 결과

연구 질문

• RQ1 국소적으로 고밀도 영역(클러스터 코어)가 샘플 기반 평균 이동에서 점 모드보다 더 안정적이고 표현력 있는 군집 표현으로 기능할 수 있는가?
• RQ2 클러스터 코어로 Quick Shift를 초기화할 경우, 유한 표본 조건 하에서 증명 가능하게 일관된 군집 복원이 이루어지는가?
• RQ3 실제 데이터셋에서 다양한 군집 형태와 복잡도를 가진 기존의 밀도 기반 군집 알고리즘(DBSAN, Mean Shift, Quick Shift 등)과 비교해 Quickshift++는 어떤 성능을 보이는가?
• RQ4 Quickshift++는 다양한 데이터셋과 응용 분야에서 하이퍼파rameter 선택, 특히 β와 k에 대해 어느 정도 강건한가?
• RQ5 클러스터 코어는 표준 모드 탐색 방법이 유지하지 못하는 복잡한 비구형 군집 구조를 포착함으로써 효과적인 이미지 분할을 가능하게 할 수 있는가?

주요 결과

• Quickshift++는 실제 데이터셋에서 DBSCAN, Mean Shift, Quick Shift를 포함한 주요 밀도 기반 군집 알고리즘을 뛰어넘어 높은 조정된 랜드 지수와 조정된 상호정보량 점수를 대부분의 경우 기록한다.
• MNIST 데이터셋(n=1000)에서 Quickshift++는 조정된 랜드 지수 0.4806과 조정된 상호정보량 0.4806을 기록하여 k-means와 DBSCAN을 포함한 모든 베이스라인을 능가했다.
• letters 데이터셋(n=20,000)에서 Quickshift++는 조정된 랜드 지수 0.5001과 조정된 상호정보량 0.5001을 기록하여 최적화된 Quick Shift와 DBSCAN을 모두 능가했다.
• 알고리즘은 k에 대해 놀라울 정도의 강건성을 보이며, n에 비례하는 넓은 k 값 범위에서 일관된 성능을 유지한다. 대부분의 데이터셋에서는 단일 β=0.3를 사용했고, banknote 데이터셋에서는 β=0.7이 최적의 성능을 냈다.
• 이미지 분할 결과는 클러스터 코어가 이미지 내에서 복잡하고 임의의 형태의 구조를 효과적으로 포착함을 보여주며, 실세계 비전 응용에서의 유용성을 검증한다.
• 통계적 일관성 보장이 확립되었으며, 기저 밀도에 대한 경미한 정규성 조건 하에서 클러스터 코어의 흡인 영역에 속하는 포인트가 올바르게 그 코어에 할당됨을 증명한다.