[논문 리뷰] Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification

Zhao Kang, Xiao Lu외 2명|arXiv (Cornell University)|2018. 06. 20.

Face and Expression Recognition인용 수 13

한 줄 요약

이 논문은 공통 핵심 커널의 변동으로 간주되는 각 커널을 모델링하고, 이에 가까운 커널에 더 높은 가중치를 자동으로 할당함으로써 그래프 기반 클러스터링 및 준지도 학습 분류를 향상시키는 자기 가중 다중 커널 학습(SMKL) 프레임워크를 제안한다. 이 방법은 추가 매개변수 없이도 벤치마크 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 클러스터링 및 분류 작업 전반에서 뛰어난 정확도와 강건성을 입증한다.

ABSTRACT

Multiple kernel learning (MKL) method is generally believed to perform better than single kernel method. However, some empirical studies show that this is not always true: the combination of multiple kernels may even yield an even worse performance than using a single kernel. There are two possible reasons for the failure: (i) most existing MKL methods assume that the optimal kernel is a linear combination of base kernels, which may not hold true; and (ii) some kernel weights are inappropriately assigned due to noises and carelessly designed algorithms. In this paper, we propose a novel MKL framework by following two intuitive assumptions: (i) each kernel is a perturbation of the consensus kernel; and (ii) the kernel that is close to the consensus kernel should be assigned a large weight. Impressively, the proposed method can automatically assign an appropriate weight to each kernel without introducing additional parameters, as existing methods do. The proposed framework is integrated into a unified framework for graph-based clustering and semi-supervised classification. We have conducted experiments on multiple benchmark datasets and our empirical results verify the superiority of the proposed framework.

연구 동기 및 목표

• 기존 다중 커널 학습(MKL) 방법이 선형 조합의 강성 있는 가정과 열악한 커널 가중치 할당으로 인해 단일 커널 방법을 능가하지 못하는 한계를 해결하기 위해.
• 기본 커널의 선형 조합이 아니라, 최적의 커널이 기본 커널의 주변에 존재할 수 있도록 하는 유연한 커널 학습 전략을 개발하기 위해.
• 공동 핵심 커널에 가까운 정도에 따라 커널 가중치를 자동으로 할당함으로써 추가 하이퍼파rameter가 필요 없도록 하기 위해.
• 그래프 구축, 레이블 학습, 커널 학습을 하나의 최적화 프레임워크로 통합하여 상호 피드백을 통해 성능을 향상시키기 위해.
• 실제 벤치마크 데이터셋을 대상으로 제안된 방법의 우수성을 클러스터링 및 준지도 학습 분류 과제에서 경험적으로 검증하기 위해.

제안 방법

• 각 기본 커널을 공통 핵심 커널의 변동으로 간주하는 새로운 커널 학습 전략을 제안하여, 최적의 커널이 기본 커널의 주변에서 유도되도록 한다.
• 핵심 커널에 가까운 커널일수록 더 높은 가중치를 할당하는 자기 가중 메커니즘을 도입하며, 이 가중치는 추가 매개변수 없이 커널 행렬에서 직접 유도된다.
• 통합 프레임워크 하에 그래프 구축, 레이블 전파, 커널 학습을 동시에 최적화하는 반복적 최적화 알고리즘을 개발한다.
• 커널 공간에서의 자기 표현 성질을 이용해 클러스터링 및 준지도 학습을 지원하는 그래프 구조를 학습한다.
• 학습된 그래프가 정확히 c개의 연결 성분을 가지도록 보장하기 위해 그래프 구조 제약 조건을 최적화에 통합한다. 여기서 c는 클러스터 또는 클래스의 수이다.
• 비볼록 최적화 문제를 교차 방향 방법을 통해 해결하여 최적의 커널과 그래프를 종단 간(end-to-end)으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 공동 핵심 커널의 변동으로 간주되는 커널을 모델링하는 다중 커널 학습 프레임워크가 기존 MKL 방법보다 클러스터링 및 준지도 학습 분류에서 뛰어난 성능을 보일 수 있는가?
• RQ2 공동 핵심 커널에 가까운 정도에 기반한 자동 커널 가중치 할당이 추가 하이퍼파rameter가 필요 없고 성능 향상에 기여하는가?
• RQ3 커널 학습, 그래프 구축, 레이블 학습을 통합한 단일 프레임워크가 분리된 접근 방식보다 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 다양한 벤치마크 데이터셋에서 제안된 방법이 최신 기술 대비 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 자기 가중 메커니즘이 표준 볼록 MKL 설정보다 더 안정적이고 대표적인 커널 조합을 이끌어내는가?

주요 결과

• 제안된 SMKL 방법은 YALE, JAFFE, BA, COIL20를 포함한 여러 벤치마크 데이터셋에서 클러스터링 및 준지도 학습 분류 과제 전반에서 최신 기술을 뛰어넘는 성능을 보였다.
• YALE 데이터셋에서 50%의 레이블 데이터를 사용할 경우 SMKL는 84.67%의 정확도를 기록하여 두 번째로 우수한 성능을 보인 S3R(84.45%)를 능가했으며, 일관된 우수성을 입증했다.
• COIL20 데이터셋에서는 50%의 레이블 데이터를 사용할 경우 SMKL가 99.97%의 정확도를 기록하여 SCAN(97.53%)과 S3R(97.87%)를 모두 능가했으며, 이는 시각적 객체 인식 분야에서의 효과성을 입증한다.
• 모든 데이터셋과 레이블 비율에서 평균적으로 최고의 성능을 기록했으며, 표준편차가 일관되게 낮아 강건성을 보였다.
• 자기 가중 메커니즘이 추가 매개변수 없이도 더 대표적인 커널에 더 높은 가중치를 할당하여 일반화 성능을 향상시켰다.
• 경험적 결과는 제안된 프레임워크가 커널, 그래프, 레이블 학습 간 상호 최적화를 가능하게 하여 클러스터링 및 준지도 학습 분류 성능을 향상시킨다는 것을 확인했다.