[논문 리뷰] Interpretable Clustering via Optimal Trees

Dimitris Bertsimas, Agni Orfanoudaki외 1명|arXiv (Cornell University)|2018. 12. 03.

Bayesian Modeling and Causal Inference인용 수 21

한 줄 요약

이 논문은 비지도 군집화를 위한 전역 최적의 결정 트리를 생성하는 혼합정수최적화 기반 방법인 해석 가능한 군집화를 위한 최적의 트리(Interpretable Clustering via Optimal Trees, ICOT)를 소개한다. 이 방법은 사전에 군집 수를 지정하지 않고도 해석 가능한 규칙 기반 군집 할당을 가능하게 하며, K-Means 및 이중 단계 트리 방법보다 합성 및 실세계 데이터셋에서 군집 품질이 뛰어나다. 또한 군집 소속에 대한 명확하고 인간이 읽을 수 있는 결정 규칙을 제공한다.

ABSTRACT

State-of-the-art clustering algorithms use heuristics to partition the feature space and provide little insight into the rationale for cluster membership, limiting their interpretability. In healthcare applications, the latter poses a barrier to the adoption of these methods since medical researchers are required to provide detailed explanations of their decisions in order to gain patient trust and limit liability. We present a new unsupervised learning algorithm that leverages Mixed Integer Optimization techniques to generate interpretable tree-based clustering models. Utilizing the flexible framework of Optimal Trees, our method approximates the globally optimal solution leading to high quality partitions of the feature space. Our algorithm, can incorporate various internal validation metrics, naturally determines the optimal number of clusters, and is able to account for mixed numeric and categorical data. It achieves comparable or superior performance on both synthetic and real world datasets when compared to K-Means while offering significantly higher interpretability.

연구 동기 및 목표

• 표준 군집 알고리즘의 해석 가능성 부족 문제를 해결하기 위해, 특히 신뢰와 임상 적용이 필수적인 의료 환경에서 중요시되는 설명 가능성 확보.
• 해석 가능성을 군집화 과정 자체에 통합하여 사후 분석 단계가 아닌, 과정 내재화된 방법 개발.
• 사전에 군집 수를 지정할 필요 없이 최적화를 통해 내부적으로 군집 수를 결정하도록 하는 것.
• 통합된 해석 가능한 프레임워크 내에서 수치형 및 범주형 데이터 유형을 효과적으로 처리.
• 기존 내부 검증 지표를 활용해 군집의 밀도와 분리도를 동시에 최적화함으로써 군집 품질 향상.

제안 방법

• ICOT는 최적의 분류 트리(Optimal Classification Trees, OCT) 프레임워크를 비지도 설정으로 확장하여 군집화를 혼합정수최적화 문제로 공식화한다.
• 좌표 강내법을 사용해 트리 구조를 반복적으로 개선함으로써 전역 최적 해를 근사하면서도 해석 가능성 유지.
• 다양한 탐욕적 트리를 초기화하고 국소 검색을 수행해 분할을 정밀 조정하며, 가장 높은 군집 품질 점수를 기록한 트리를 선택.
• 목적 함수는 군집 내 응집도와 군집 간 분리도를 균형 있게 유지하기 위해 실내 검증 지표인 실루엣 지표와 덴 인덱스를 포함한다.
• 특성 분할은 원본 특성에 기반하여, 군집 소속 규칙이 입력 변수 기반으로 직접 해석 가능하도록 보장.
• 트리 구조 최적화를 통해 군집 수를 자연스럽게 결정함으로써 사용자 지정 k가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 사후 분석에 의존하지 않고도 높은 해석 가능성을 보장하는 전역 최적의 트리 기반 군집화 방법을 개발할 수 있는가?
• RQ2 ICOT는 K-Means 및 이중 단계 트리 방법(예: K-Means 이후 OCT)과 비교해 군집 품질과 해석 가능성 측면에서 어떻게 성능을 내는가?
• RQ3 비구형 또는 비등방성 형태를 띤 데이터에서 ICOT가 의미 있는 군집 구조를 얼마나 잘 복원할 수 있는가?
• RQ4 ICOT는 해석 가능성과 성능을 유지하면서도 수치형 및 범주형 특성을 함께 효과적으로 처리할 수 있는가?
• RQ5 표준 내부 검증 지표를 최적화함으로써 합성 데이터에서 참값 레이블을 복원하는 것보다 더 의미 있는 군집 할당을 도출할 수 있는가?

주요 결과

• 실루엣 지표 기준으로 9개 데이터셋 중 4개에서 K-Me안을 초월하고, 덴 인덱스 기준으로 9개 중 8개에서 K-Means 및 OCT를 능가하여 뛰어난 또는 동등한 군집 품질을 입증.
• 엔지타임 데이터셋에서 실루엣 점수 0.573으로 최고 성능 기록, 헤파 데이터셋에서 덴 인덱스 1.076로 최고 성능 기록하며 K-Means 및 OCT를 모두 초월.
• 테트라 및 투다이아몬드 데이터셋에서는 모든 지표에서 최고의 점수를 기록하여 대칭적이고 잘 분리된 군집에 대해 뛰어난 안정성 확보.
• 모든 데이터셋에서 이중 단계 OCT 접근법보다 ICOT가 뚜렷한 우월성을 보이며, 군집화 과정에 해석 가능성을 통합함으로써 유의미한 이점 입증.
• 프레밍햄 심장 연구 데이터셋에서 ICOT는 단지 4개의 특성만을 사용해 임상적으로 해석 가능한 7개의 군집을 식별했으며, 명확한 성별 및 HDL 기반 분할을 보였다.
• 모든 지표에서 K-Means를 모두 따라잡지 못했지만, 의료 응용 분야에서 핵심적인 요소인 명확하고 규칙 기반의 군집 정의를 제공해 해석 가능성 측면에서 뚜렷한 우위 확보.