[논문 리뷰] Learning Transformations for Clustering and Classification

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|2013. 09. 09.

Face and Expression Recognition참고 문헌 33인용 수 16

한 줄 요약

이 논문은 핵형 범위 최소화를 통해 부분공간 내의 저질서 구조를 복원하고 부분공간 간의 분리도를 극대화함으로써 부분공간 군집화와 분류 성능을 향상시키기 위해 선형 변환을 학습하는 저질서 변환 학습 프레임워크를 제안한다. 이 방법은 실세계 데이터셋에서 부분공간 내 변동성을 감소시키고 부분공간 간 분리도를 높여 군집화 및 분류 정확도를 크게 향상시킨다.

ABSTRACT

A low-rank transformation learning framework for subspace clustering and classification is here proposed. Many high-dimensional data, such as face images and motion sequences, approximately lie in a union of low-dimensional subspaces. The corresponding subspace clustering problem has been extensively studied in the literature to partition such high-dimensional data into clusters corresponding to their underlying low-dimensional subspaces. However, low-dimensional intrinsic structures are often violated for real-world observations, as they can be corrupted by errors or deviate from ideal models. We propose to address this by learning a linear transformation on subspaces using matrix rank, via its convex surrogate nuclear norm, as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same subspace, and, at the same time, forces a a maximally separated structure for data from different subspaces. In this way, we reduce variations within subspaces, and increase separation between subspaces for a more robust subspace clustering. This proposed learned robust subspace clustering framework significantly enhances the performance of existing subspace clustering methods. Basic theoretical results here presented help to further support the underlying framework. To exploit the low-rank structures of the transformed subspaces, we further introduce a fast subspace clustering technique, which efficiently combines robust PCA with sparse modeling. When class labels are present at the training stage, we show this low-rank transformation framework also significantly enhances classification performance. Extensive experiments using public datasets are presented, showing that the proposed approach significantly outperforms state-of-the-art methods for subspace clustering and classification.

연구 동기 및 목표

• 얼굴 영상 및 동작 시퀀스와 같은 실세계 고차원 데이터에서 저차원 내재 구조의 열화 문제를 해결하기 위해.
• 데이터 손상, 자세 변화 및 비 Lambertain 효과에 대한 부분공간 군집화 방법의 강건성 향상을 위해.
• 핵형 범위 기반 최적화를 통해 군집화 및 분류 성능을 향상시키는 변환 학습 프레임워크를 개발하기 위해.
• 강건한 주성분 분석과 희소 모델링을 융합하여 빠르고 확장 가능한 부분공간 군집 기법을 제공하기 위해.
• 학습된 변환의 일반화 능력을 다른 분류 프레임워크에 적용 가능하게 하기 위해.

제안 방법

• 변환된 데이터 행렬의 핵형 범위를 최소화하는 데 목적이 있는 선형 변환 행렬 T를 학습하는 부분공간 저질서 변환(LRT) 프레임워크를 제안한다.
• 비볼록 문제를 볼록 부분문제의 순차적 해결으로 반복적으로 해결하기 위해 D.C.(凸함수의 차) 최적화 접근법을 사용한다.
• ||T||₂ = γ 노름 제약 조건을 유지하고 자명한 해를 방지하기 위해 계수 정규화를 적용한 하향 기울기 방법을 활용한다.
• 변환된 데이터에 대해 강건한 주성분 분석과 희소 모델링을 융합하여 빠른 부분공간 군집 기법을 도입한다.
• 학습 중 클래스 레이블을 활용하여 분류 성능 향상을 위한 판별 능력을 향상시키기 위해 학습된 변환을 군집화 및 분류 작업에 적용한다.
• 핵형 범위의 기울기를 계산하기 위해 특이값 분해(SVD)와 하향도 계산을 사용한다.

실험 결과

연구 질문

• RQ1 실세계의 오염 상황에서 동일한 부분공간 내 데이터의 저질서 구조를 향상시키기 위해 선형 변환을 학습하는 것이 가능한가?
• RQ2 부분공간 간의 핵형 범위 분리도를 극대화하면 군집화 및 분류 성능이 향상되는가?
• RQ3 제안된 변환은 기존의 부분공간 군집 방법에 효율적으로 적용되고 학습될 수 있는가?
• RQ4 공개 데이터셋에서 최신 기술 대비 정확도와 강건성 측면에서 학습된 변환은 어떻게 비교되는가?
• RQ5 학습된 변환은 다른 분류 프레임워크로 얼마나 효과적으로 이식될 수 있는가?

주요 결과

• 제안된 학습된 강건한 부분공간 군집화(LRSC) 프레임워크는 Extended Yale B 및 CMU PIE 얼굴 데이터셋을 포함한 공개 데이터셋에서 최신 기술 대비 뚜렷한 성능 향상을 보였다.
• 학습된 변환은 부분공간 내 변동성을 감소시키고 부분공간 간 분리도를 증가시키며, 그 효과가 그림 1에서 시각적으로 입증되었다. 여기서 동일한 주제에서의 다양한 자세의 변환된 얼굴 영상 간 유사도가 높아졌다.
• 학습 시 클래스 레이블을 활용할 경우 분류 정확도가 향상되어 판별 학습의 효과성을 입증하였다.
• 단일 하향 기울기 단계만으로도 경험적으로 수렴이 관찰되어 D.C. 절차의 단순화가 타당함을 검증하였다.
• ||T||₂ = γ 노름 제약 조건은 자명한 해를 방지하는 데 필수적이며, 계수 정규화를 통해 안정적인 최적화를 보장한다.
• 특이값 분해(SVD)와 난수 행렬 생성을 통해 핵형 범위의 하향도를 효율적으로 계산함으로써 확장 가능한 최적화를 가능하게 하였다.