[논문 리뷰] Top-down induction of clustering trees

Hendrik Blockeel, Luc De Raedt외 1명|ArXiv.org|2000. 11. 21.

Data Mining Algorithms and Applications참고 문헌 19인용 수 398

한 줄 요약

이 논문은 거리 기반 프로토타입을 사용하여 데이터를 계층적으로 분할함으로써 비지도 학습으로의 상향식 결정트리 유도를 적응시킨 TIC(Top-down Induction of Clustering trees)를 제안한다. 이 방법은 군집 정의를 표현하기 위해 논리적 결정트리와 거리 측정을 활용함으로써 군집, 회귀, 분류 작업에서 경쟁적인 성능을 달성하며, 결측치가 있는 경우에도 유연하게 작동한다.

ABSTRACT

An approach to clustering is presented that adapts the basic top-down induction of decision trees method towards clustering. To this aim, it employs the principles of instance based learning. The resulting methodology is implemented in the TIC (Top down Induction of Clustering trees) system for first order clustering. The TIC system employs the first order logical decision tree representation of the inductive logic programming system Tilde. Various experiments with TIC are presented, in both propositional and relational domains.

연구 동기 및 목표

• 상향식 결정트리 유도를 비지도 학습으로 일반화하는 일阶 군집화 시스템을 개발하는 것.
• 논리적 결정트리 표현을 사용하여 관계형 및 문맥 기반 도메인에서 군집화를 가능하게 하는 것.
• 군집, 회귀, 분류 작업 전반에 걸쳐 시스템의 성능을 평가하는 것.
• 클래스 정보만 사용하는 것과 여러 특성들을 사용하는 것 간의 거리 측정 비교를 통해 결측치에 대한 강건성 평가.
• 일阶 트리 구조를 통해 군집을 논리적이고 인간이 읽을 수 있는 형태로 기술하는 것.

제안 방법

• TIC 시스템은 군집 프로토타입 간의 거리 측정을 기반으로 하향식, 분할 기반 접근을 사용하여 데이터를 반복적으로 군집으로 분할한다.
• 각 군집은 그 예시들로부터 계산된 프로토타입으로 표현되며, 군집 간 거리는 이러한 프로토타입 간의 거리로부터 유도된다.
• 알고리즘은 각 노드에서 군집 간 거리를 최대화하는 테스트를 선택함으로써 TDIDT 히우리스틱을 군집화에 적응시킨다.
• 군집을 표현하기 위해 일阶 논리적 결정트리를 사용하여 테스트에서 존재 기호 및 관계적 구조를 허용한다.
• 거리 함수를 변경함으로써 감독 및 비감독 모드를 모두 지원한다—클래스 레이블을 사용하거나 다수의 특성을 사용한다.
• 일반화 성능 향상과 과적합 방지를 위해 가지치기 방법을 도입한다.

실험 결과

연구 질문

• RQ1 클래스 레이블 대신 군집 표현을 사용함으로써 상향식 결정트리 유도가 군집화에 효과적으로 적용될 수 있는가?
• RQ2 클래스 정보 외에 다수의 특성을 거리 함수에 포함시킬 경우, 성능과 결측치에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 결과로 도출된 군집 트리가 관계형 데이터에서 의미 있는 논리적 군집 기술을 제공할 수 있는가?
• RQ4 군집, 회귀, 분류 작업 전반에 걸쳐 기존 군집화 시스템과 비교했을 때 TIC의 예측 정확도는 어떠한가?
• RQ5 가지치기가 군집 트리의 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• TIC는 모든 특성을 동시에 예측할 때 Soybean 데이터셋에서 81.6%의 예측 정확도를 달성하여 다중 특성 예측에서 뛰어난 성능을 보였다.
• 50%의 결측치가 존재하는 상황에서, 클래스 정보만을 사용할 경우 분류 정확도가 0.78로 유지되었고, 세 개의 수치형 특성을 사용할 경우 0.79로 향상되어 더 풍부한 거리 측정이 강건성을 향상시켰다.
• 10%의 가용 데이터만 존재할 경우, 클래스 전용 거리 측정의 정확도는 0.67로 떨어졌고, 다중 특성 거리 측정의 경우 0.74로 상대적으로 높아, 더 많은 특성이 성능 저하를 완화함을 확인했다.
• TIC는 동일한 프레임워크를 사용하여 군집, 회귀, 분류 작업을 성공적으로 수행하여 유연성을 입증했다.
• 가지치기 통합으로 인해 모델의 일반화 성능이 향상되었고, 시스템은 해석 가능한 일阶 논리적 군집 기술을 생성했다.
• 결측치에 대한 강건성 측면에서 순수하게 클래스 기반 거리 측정보다 다수 특성을 포함한 거리 함수 사용이 우수함을 입증하여, 거리 함수 내 다수 특성의 활용이 타당함을 확인했다.