[논문 리뷰] Evaluation Metrics for Unsupervised Learning Algorithms

Julio-Omar Palacio-Niño, Fernando Berzal|arXiv (Cornell University)|2019. 05. 14.

Advanced Clustering Algorithms Research참고 문헌 19인용 수 98

한 줄 요약

군집화 평가 기준에 대한 조사로, Kleinberg의 공리, 내부/외부 검증 지표 및 비지도 학습의 하이퍼파라미터 조정 전략을 상세히 다룬다.

ABSTRACT

Determining the quality of the results obtained by clustering techniques is a key issue in unsupervised machine learning. Many authors have discussed the desirable features of good clustering algorithms. However, Jon Kleinberg established an impossibility theorem for clustering. As a consequence, a wealth of studies have proposed techniques to evaluate the quality of clustering results depending on the characteristics of the clustering problem and the algorithmic technique employed to cluster data.

연구 동기 및 목표

• 레이블이 없는 비지도 학습에서 군집 품질을 평가해야 하는 필요성을 동기부여한다.
• Kleinberg의 불가능성 정리를 상기시키고 바람직한 군집 특성에 대한 시사점을 논의한다.
• 군집 결과에 대한 평가 기준의 분류(내부 및 외부)에 대한 분류를 설명한다.
• 일반적으로 사용되는 내부, 외부 및 정보이론적 검증 지표를 조사한다.
• 군집 알고리즘에서 하이퍼파라미터 조정 방법을 개략적으로 제시한다.

제안 방법

• Kleinberg의 세 가지 공리: 스케일 불변성, 풍부성, 일관성을 논의한다.
• 군집 평가 방법의 분류 체계(내부, 외부, 정보이론적)를 제시한다.
• 특정 내부 검증 지표들(응집도, 분리도, 실루엣, CPCC 등)을 설명한다.
• 특정 외부 검증 지표들(일치 집합, 피어투피어 상관, 정보이론 지표)을 설명한다.
• 그리드/랜덤/스마트 검색 등의 하이퍼파라미터 조정 전략과 nc 선택을 위한 무릎/엘보 방법을 설명한다.

실험 결과

연구 질문

• RQ1 Kleinberg의 공리로 인해 군집 품질의 이론적 한계는 무엇인가?
• RQ2 다양한 알고리즘 패러다임에서 군집 품질을 가장 잘 포착하는 평가 기준과 지표는 무엇인가?
• RQ3 내부, 외부 및 정보이론적 지표를 군집 결과 평가에 어떻게 적용할 수 있는가?
• RQ4 성능 향상을 위한 군집 하이퍼파라미터 조정 전략은 무엇이 있는가?

주요 결과

• Kleinberg의 불가능성 정리는 어떤 군집 함수도 세 가지 공리를 동시에 만족시킬 수 없음을 보여준다.
• 내부(또는 외부 정보가 없는) 또는 외부 정보를 활용한(외부) 군집 품질 평가를 위한 다양한 내부 및 외부 검증 지표가 존재한다.
• 내부 검증은 응집도와 분리에 중점을 두며, 실루엣 및 CPCC와 같은 지표는 알고리즘 유형에 따라 적용 가능성이 다르다.
• 외부 검증은 파티션 매칭, 쌍간 상관, 정보이론적 지표를 활용해 군집화를 기준 파티션과 비교하는 것에 의존한다.
• 군집의 하이퍼파라미터 조정은 그리드/랜덤/스마트 검색 전략을 사용할 수 있으며, 무릎/엘보 휴리스틱은 군집 수의 선택에 도움을 준다.