[논문 리뷰] Active Clustering with Model-Based Uncertainty Reduction

Caiming Xiong, David Johnson외 1명|arXiv (Cornell University)|2014. 02. 07.

Face and Expression Recognition참고 문헌 42인용 수 5

한 줄 요약

이 논문은 모델 기반의 불확실성 감소를 사용하여 클러스터링 불확실성을 최소화하는 쌍별 제약 조건을 선택하는 온라인, 샘플 기반 활성 클러스터링 프레임워크를 제안한다. 일阶 테일러 전개를 통해 불확실성 감소를 분해함으로써 기울기에는 행렬 섭동 이론을, 스텝 스케일에는 클러스터 할당 엔트로피를 적용하여 효율적으로 정보가 풍부한 질의를 식별한다. 이는 이미지 및 UCI 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 노이즈와 알려지지 않은 클러스터 수에 대해 안정성을 유지한다.

ABSTRACT

Semi-supervised clustering seeks to augment traditional clustering methods by incorporating side information provided via human expertise in order to increase the semantic meaningfulness of the resulting clusters. However, most current methods are \emph{passive} in the sense that the side information is provided beforehand and selected randomly. This may require a large number of constraints, some of which could be redundant, unnecessary, or even detrimental to the clustering results. Thus in order to scale such semi-supervised algorithms to larger problems it is desirable to pursue an \emph{active} clustering method---i.e. an algorithm that maximizes the effectiveness of the available human labor by only requesting human input where it will have the greatest impact. Here, we propose a novel online framework for active semi-supervised spectral clustering that selects pairwise constraints as clustering proceeds, based on the principle of uncertainty reduction. Using a first-order Taylor expansion, we decompose the expected uncertainty reduction problem into a gradient and a step-scale, computed via an application of matrix perturbation theory and cluster-assignment entropy, respectively. The resulting model is used to estimate the uncertainty reduction potential of each sample in the dataset. We then present the human user with pairwise queries with respect to only the best candidate sample. We evaluate our method using three different image datasets (faces, leaves and dogs), a set of common UCI machine learning datasets and a gene dataset. The results validate our decomposition formulation and show that our method is consistently superior to existing state-of-the-art techniques, as well as being robust to noise and to unknown numbers of clusters.

연구 동기 및 목표

• 무작위 또는 사전 선택된 제약 조건이 부적절하거나 해로울 수 있는 피ア식 반응 학습 기반의 반응 학습 기반 클러스터링의 비효율성을 해결하기 위해.
• 대규모 클러스터링에서 인간 레이블링 비용을 줄이기 위해 정보가 풍부한 쌍별 제약 조건만 지능적으로 선택하기 위해.
• 프로세스 중 불확실성과 클러스터 구조에 동적으로 적응하는 확장 가능한 온라인 활성 클러스터링 프레임워크를 개발하기 위해.
• 실제 응용에서 노이즈가 있는 인간의 응답과 알려지지 않은 클러스터 수에 대해 안정성을 확보하기 위해.
• 스펙트럼 클러스터링에서 불확실성 기반 질의 선택을 위한 이론적으로 탄탄하고 계산적으로 효율적인 방법을 제공하기 위해.

제안 방법

• 방법은 일阶 테일러 전개를 사용하여 기대 불확실성 감소를 기울기 항과 스텝 스케일 항으로 분해한다.
• 기울기는 스펙트럼 클러스터링 고유벡터에 적용된 행렬 섭동 이론을 통해 추정한다.
• 스텝 스케일은 국소 레이블 엔트로피로부터 계산되며, 각 샘플당 불확실성 감소 잠재력의 척도를 나타낸다.
• 알고리즘은 예상 불확실성 감소가 가장 큰 샘플을 선택하고, 각 반복에서 사용자에게 단 하나의 쌍별 질의만 제시한다.
• 프레임워크는 파rametric 및 비파라메트릭 모델을 모두 지원하며, 비파라메트릭 버전이 더 높은 안정성을 보였다.
• 질의 과정 중 특정 샘플 집합을 식별함으로써 클러스터 수를 동적으로 발견한다.

실험 결과

연구 질문

• RQ1 일阶 근사와 행렬 섭동 이론을 사용하여 스펙트럼 클러스터링의 불확실성 감소를 효과적으로 모델링할 수 있는가?
• RQ2 모델 기반 질의 선택은 랜덤 또는 히우리스틱 기반 제약 조건 선택에 비해 클러스터링 정확도와 효율성에서 어떻게 비교되는가?
• RQ3 노이즈가 있는 인간의 응답이나 애매한 진짜 레이블 조건 하에서도 성능을 유지할 수 있는가?
• RQ4 사전 지식 없이 진짜 클러스터 수를 얼마나 잘 발견할 수 있는가?
• RQ5 제안된 불확실성 감소 분해 방식은 다양한 데이터셋에서 이론적으로 타당하고 경험적으로 효과적인가?

주요 결과

• 제안된 방법인 URASC+N은 세 개의 이미지 데이터셋(Faces, Leaves, Dogs)과 여러 UCI 데이터셋에서 최신 기술의 활성 및 피아식 클러스터링 기법을 일관되게 능가한다.
• Dog 데이터셋에서는 Active-HACC와 ASC를 포함한 모든 베이스라인보다 뚜렷하게 뛰어난 성능을 보였으며, 특히 후자는 이 데이터셋에서 완전히 실패하였다.
• 2%의 시뮬레이션된 질의 오류율 조건 하에서도 안정성을 유지하였으며, 노이즈 조건에서도 랜덤 및 피아식 방법보다 성능 우위를 확보하였다.
• 클러스터 수가 처음에 알려지지 않은 상황에서, Face-1 및 Leaf 데이터셋에서 알려진 k 값의 경우와 구분할 수 없을 정도로 수렴하였으며, 효과적인 동적 클러스터 발견 능력을 입증하였다.
• 비파라메트릭 버전은 파라메트릭 버전보다 더 높은 신뢰성을 보였으며, 특히 파라메트릭 접근 방식이 성능을 저하시킨 Leaf 및 Diabetes 데이터셋에서 두드러졌다.
• 이 방법의 계산 효율성 덕분에 최소한의 사용자 상호작용으로 온라인 및 점진적인 클러스터링이 가능하여, 대규모 및 커스터마이징된 응용에 적합하다.