[논문 리뷰] Multiple Kernel $k$-Means Clustering by Selecting Representative Kernels

Yaqiang Yao, Huanhuan Chen|arXiv (Cornell University)|2018. 11. 01.

Face and Expression Recognition참고 문헌 23인용 수 12

한 줄 요약

이 논문은 클러스터링 성능을 햖을 뿐만 아니라 부정확성도 줄이기 위해 다양성 있는 대표 커널의 부분집합을 선택하는 다중 커널 $k$-means 군집화 방법을 제안한다. 최적화 프레임워크에 커널 다양성을 통합하고 교대 최소화를 사용함으로써, 기존 최첨단 방법들과 비교해 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

To cluster data that are not linearly separable in the original feature space, $k$-means clustering was extended to the kernel version. However, the performance of kernel $k$-means clustering largely depends on the choice of kernel function. To mitigate this problem, multiple kernel learning has been introduced into the $k$-means clustering to obtain an optimal kernel combination for clustering. Despite the success of multiple kernel $k$-means clustering in various scenarios, few of the existing work update the combination coefficients based on the diversity of kernels, which leads to the result that the selected kernels contain high redundancy and would degrade the clustering performance and efficiency. In this paper, we propose a simple but efficient strategy that selects a diverse subset from the pre-specified kernels as the representative kernels, and then incorporate the subset selection process into the framework of multiple $k$-means clustering. The representative kernels can be indicated as the significant combination weights. Due to the non-convexity of the obtained objective function, we develop an alternating minimization method to optimize the combination coefficients of the selected kernels and the cluster membership alternatively. We evaluate the proposed approach on several benchmark and real-world datasets. The experimental results demonstrate the competitiveness of our approach in comparison with the state-of-the-art methods.

연구 동기 및 목표

• 다중 커널 $k$-means 군집화에서 사용되는 커널 조합의 높은 부정확성 문제를 해결하기 위해.
• 사전 지정된 집합에서 다양성 있는 대표 커널의 부분집합을 선택하여 군집 성능을 향상시키기 위해.
• 커널 가중치와 군집 할당을 동시에 학습하면서 커널 다양성을 촉진하는 최적화 프레임워크를 개발하기 위해.
• 기존 다중 커널 군집화 방법에서 부정확한 커널로 인한 계산 비효율성과 성능 저하를 줄이기 위해.

제안 방법

• 목표 함수에 다양성 정규화 항을 도입하여 상호 중복이 없는 대표 커널의 선택을 장려한다.
• 커널 조합 가중치와 군집 소속 할당을 번갈아가며 갱신하는 교대 최적화 전략을 사용한다.
• 선택된 커널을 최종 커널 조합에서의 중요도를 나타내는 가중치 조합으로 표현한다.
• 비볼록 최적화 프레임워크를 사용하여 커널 다양성이 정규화 파rameter $\lambda$를 통해 명시적으로 모델링된다.
• 커널 $k$-means 하위문제를 효율적으로 해결하기 위해 고유값 분해를 적용한다.
• 목표 함수를 수정하여 군집 및 다양성 목표를 모두 포함함으로써 커널 선택을 다중 커널 $k$-means 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 다양성 있는 커널 부분집합을 선택하는 것이 다중 커널 $k$-means 군집화의 성능을 향상시킬 수 있는가?
• RQ2 기본적인 다중 커널 학습 방법들과 비교했을 때, 커널 다양성은 군집 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 정규화를 통해 커널 중복성을 명시적으로 모델링하면 수렴성과 효율성이 향상되는가?
• RQ4 제안된 방법은 군집 정확도와 계산 효율성 측면에서 최첨단 다중 커널 군집화 방법을 초월할 수 있는가?

주요 결과

• 제안된 방법은 여러 벤치마크 및 실세계 데이터셋에서 경쟁력 있는 군집 성능을 달성하며, 기존 최첨단 방법들을 능가한다.
• 이 방법은 다양한 데이터셋에서 안정적인 성능을 보이며, ORL 데이터셋에서 다양성 정규화 파rameter $\lambda$에 대해 최소한의 민감도를 보인다.
• TR11 데이터셋에서는 $\lambda = 2^{-2}$에서 성능이 일시적으로 저하된 후 안정화됨을 확인하여 다양성과 정확도 사이의 상충 관계를 보여준다.
• $\lambda$가 증가할수록 선택된 대표 커널의 수가 감소함을 통해 높은 정규화는 더 흐린 커널 선택을 이끌어내며, 이는 해석 가능성 향상에 기여한다.
• ORL 및 TR11에서 목표 함수는 10회 이내에 수렴함을 확인하여 교대 최적화 알고리즘의 빠른 수렴성을 입증한다.
• MKKM-MR에 비해 커널 다양성을 향상시키고 중복을 줄임으로써 더 나은 군집 결과를 도출함으로써 상당한 성능 향상을 이루었다.