[논문 리뷰] Adaptive Low-Rank Kernel Subspace Clustering

Pan Ji, Ian Reid외 3명|arXiv (Cornell University)|2017. 07. 17.

Face and Expression Recognition참고 문헌 43인용 수 25

한 줄 요약

이 논문은 통합 최적화 프레임워크 내에서 적응형 저질서 커널 매핑과 자기표현 친화도 행렬을 동시에 학습하는 새로운 커널 부분공간 군집화 방법인 Adaptive Low-Rank Kernel Subspace Clustering (ALRKSC)를 제안한다. 기존의 고정 커널을 사용하는 방법들과는 달리, ALRKSC는 특징 공간에 암묵적으로 매핑된 데이터가 저질서이면서 동시에 자기표현 가능하도록 보장하여 비선형 부분공간 구조를 더 잘 복원할 수 있도록 한다. 이 방법은 운동 분할 및 이미지 군집화 벤치마크에서 최신 기술 수준의 성능을 달성하며, 선형 부분공간 군집화 및 사전 정의된 커널을 사용하는 커널 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

In this paper, we present a kernel subspace clustering method that can handle non-linear models. In contrast to recent kernel subspace clustering methods which use predefined kernels, we propose to learn a low-rank kernel matrix, with which mapped data in feature space are not only low-rank but also self-expressive. In this manner, the low-dimensional subspace structures of the (implicitly) mapped data are retained and manifested in the high-dimensional feature space. We evaluate the proposed method extensively on both motion segmentation and image clustering benchmarks, and obtain superior results, outperforming the kernel subspace clustering method that uses standard kernels[Patel 2014] and other state-of-the-art linear subspace clustering methods.

연구 동기 및 목표

• 사전에 정의된 커널을 사용하는 기존 커널 부분공간 군집화 방법의 한계를 해결하기 위해, 특징 공간에서의 저질서 구조를 보장하지 못하는 문제를 해결한다.
• 비선형 데이터의 부분공간 구조를 유지하고 활용하기 위해, 저질서 커널 매핑과 자기표현 친화도 행렬을 동시에 최적화하는 방법을 개발한다.
• 운동 시각화에서 투영 왜곡이나 표정 변화가 있는 얼굴 영상과 같은 비선형 다양체를 가진 실세계 데이터셋에서 군집 정확도를 향상시킨다.
• SSC 및 LRR에 중점을 두어 자기표현 기반 부분공간 군집화 방법에 일반화 가능한 프레임워크를 제공한다.
• 적응형 커널 학습이 고정 커널 및 선형 부분공간 군집화 접근법보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 특징 공간에서 데이터가 저질서이면서 동시에 자기표현 가능하도록 하는 저질서 커널 행렬 K를 학습하는 공동 최적화 문제를 수립한다.
• 기본 커널 행렬 K_G를 사용하며, 제약 조건이 있는 최적화 문제를 통해 저질서 커널 매핑 K와 자기표현 계수 행렬 C를 동시에 최적화한다.
• ADMM(대체 방향 승수법)를 사용하여 최적화를 해결하며, 각 하위 문제에 대해 닫힌 형태의 해를 제공하여 효율적인 계산을 가능하게 한다.
• 자기표현을 제약 조건 X = X C를 통해 강제하며, C의 대각성분을 0으로 설정하여 자명한 해를 방지한다.
• C와 K에 핵심 노름 정규화를 도입하여 저질서 구조를 촉진하고 친화도 행렬의 희박성을 강제한다.
• 커널 함수 K_G는 수동으로 선택된다(예: 다항식 또는 RBF), 그리고 방법은 데이터의 내재된 구조에 맞게 비지도 방식으로 커널 매핑을 적응적으로 조정한다.

실험 결과

연구 질문

• RQ1 고정 커널 방법과 비교해 볼 때, 적응형 저질서 커널 매핑이 비선형 데이터에 대한 부분공간 군집화 성능을 향상시킬 수 있는가?
• RQ2 커널 매핑과 자기표현 친화도 행렬을 동시에 최적화하는 것이 특징 공간에서의 저차원 부분공간 구조 복원에 더 나은 성능을 낼 수 있는가?
• RQ3 약간의 비선형성을 가진 데이터셋에서, 제안된 방법이 최신 기술 수준의 선형 부분공간 군집화 방법보다 뛰어나게 성능을 낼 수 있는가?
• RQ4 샘플 수가 적은 부분공간을 가진 데이터셋(예: ORL)에서, 선형 및 고정 커널 방법이 어려움을 겪는 상황에서 이 방법은 어떻게 성능을 내는가?
• RQ5 고정 커널 방법이 선형 방법보다 성능 향상을 보이는 중간 정도의 비선형성을 가진 데이터셋(예: COIL-100)에서, 이 방법은 여전히 뛰어난 성능을 유지하는가?

주요 결과

• Hopkins155 운동 분할 데이터셋에서 ALRKSC는 98.04%의 군집 정확도를 달성하여 SSC(64.38%) 및 KSSC를 크게 앞서며 뛰어난 성능을 보였다.
• 확장된 Yale B 데이터셋에서 ALRKSC는 SSC보다 군집 오차를 50% 이상 감소시키며, 모든 선형 및 커널 기반 베이스라인보다 뛰어난 성능을 보였다.
• ORL 데이터셋에서 ALRKSC는 항상 SSC 및 KSSC를 능가했으며, 특히 '매우 적은 샘플 수' 환경(예: 1인당 10장의 이미지)에서 낮은 샘플 수에 대한 강건성을 입증했다.
• COIL-100 데이터셋에서 ALRKSC는 모든 기반 방법 중에서 가장 낮은 군집 오차를 기록하여, 각도 변화와 중간 정도의 비선형성을 가진 물체 영상에서의 효과성을 확인했다.
• ALRKSC는 Hopkins155에서 선형 대비 뛰어난 성능을 보인 최초의 커널 부분공간 군집화 방법이었으며, 이는 대부분의 데이터가 선형 부분공간 모델에 잘 맞는 데이터셋임을 고려할 때 놀라운 성과이다.
• 이 방법은 다양한 벤치마크에서 일관된 승리를 거두며, 비선형 부분공간 구조를 유지하고 활용하는 데 있어 적응형 저질서 커널 학습의 효과성을 입증했다.