[논문 리뷰] Kernelized Low Rank Representation on Grassmann Manifolds

Boyue Wang, Yongli Hu외 3명|arXiv (Cornell University)|2015. 04. 08.

Sparse and Compressive Sensing Techniques참고 문헌 64인용 수 6

한 줄 요약

이 논문은 데이터 다양체의 내재 기하학을 활용하여 부분공간 군집화를 향상시키기 위해 그라스만 다양체 위에 커널화된 저랭크 표현(KGLRR) 모델을 제안한다. 그라스만 다양체 데이터를 대칭 행렬로 매핑하고 커널 방법을 적용함으로써, 특히 얼굴 및 교통 영상 데이터에서 기존 최고 수준의 방법들보다 노이즈와 이방성에 더 강건한 뛰어난 군집 정확도를 달성한다.

ABSTRACT

Low rank representation (LRR) has recently attracted great interest due to its pleasing efficacy in exploring low-dimensional subspace structures embedded in data. One of its successful applications is subspace clustering which means data are clustered according to the subspaces they belong to. In this paper, at a higher level, we intend to cluster subspaces into classes of subspaces. This is naturally described as a clustering problem on Grassmann manifold. The novelty of this paper is to generalize LRR on Euclidean space onto an LRR model on Grassmann manifold in a uniform kernelized framework. The new methods have many applications in computer vision tasks. Several clustering experiments are conducted on handwritten digit images, dynamic textures, human face clips and traffic scene sequences. The experimental results show that the proposed methods outperform a number of state-of-the-art subspace clustering methods.

연구 동기 및 목표

• 유사도 기반 저랭크 표현(LRR)이 유클리드 공간에서 선형 데이터 구조를 가정하고 고차원 데이터의 비선형 다양체 기하학을 포착하지 못하는 한계를 해결하기 위해.
• 그라스만 다양체의 내재 기하학적 성질을 활용하여 LRR를 일반화함으로써, 자연스럽게 비선형 다양체 위에 존재하는 데이터의 더 정확한 군집화를 가능하게 하기 위해.
• 비정규 분포 노이즈와 이방성을 다룰 수 있도록 강건한 최적화 모델(GLRR-F 및 GLRR-21)을 통해 LRR를 커널화한 프레임워크를 개발하기 위해.
• 실제 컴퓨터 비전 작업, 예를 들어 얼굴 군집화, 동적 텍스처 분석 및 교통 환경 분류와 같은 분야에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 비선형 매핑을 통해 그라스만 다양체 데이터를 대칭 행렬 공간에 매핑하여 유클리드 기반 최적화를 가능하게 하면서도 다양체 기하학을 유지하기 위해.
• 스체텐-p 노름 펜alties를 포함한 랭크 제약 최적화 문제를 최소화하는 일반화된 저랭크 표현(GLRR) 모델을 그라스만 다양체 위에 제안하기 위해.
• 두 가지 강건한 변형을 도입: 노이즈가 정규분포일 경우 사용하는 GLRR-F(핵심 범위 사용)와 비정규분포 노이즈 및 이방성을 다룰 수 있는 GLRR-21(표현 오차에 대해 ℓ1-노름 사용).
• 특이값 임계처리를 통해 GLRR-F에 대한 폐형 해를 유도하여 효율적인 계산을 가능하게 하기 위해.
• 그라스만 다양체에 특화된 두 가지 전용 커널 함수를 커널화된 GLRR 프레임워크에 통합하여 데이터 내 비선형 관계를 포착하기 위해.
• 최종 군집 결과를 도출하기 위해 학습된 유사도 행렬에 스펙트럼 군집화(예: 정규화 컷)를 적용하기 위해.

실험 결과

연구 질문

• RQ1 유사도 기반 저랭크 표현은 유클리드 공간에서 그라스만 다양체로 효과적으로 일반화될 수 있는가? 이는 부분공간 군집화 성능 향상에 기여하는가?
• RQ2 그라스만 다양체의 내재 기하학을 통합함으로써 LRR는 고차원 데이터에서 노이즈와 이방성에 대해 얼마나 더 강건해지는가?
• RQ3 얼굴 영상 및 영상 시퀀스와 같은 비선형 다양체 위의 데이터에 적용했을 때, 커널화가 LRR의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 강건한 변형(GLRR-F 및 GLRR-21)은 다양한 노이즈 모델을 다룰 때 기존의 표준 LRR 및 SSC보다 어떻게 비교되는가?
• RQ5 실제 컴퓨터 비전 데이터셋에서 커널화된 GLRR 프레임워크는 최고 수준의 부분공간 군집화 방법들을 얼마나 뛰어나게 성능을 내는가?

주요 결과

• KGLRR-cc+proj 방법은 48×48 프레임 크기의 UCSD 교통 데이터셋에서 89.72%의 정확도를 기록하여 SSC(66.43%)와 LRR(68.38%)를 크게 능가했다.
• YTC 얼굴 데이터셋에서 KGLRR-cc+proj는 4개 클래스일 경우 90.85%의 정확도, 7개 클래스일 경우 81.74%의 정확도를 달성하여 SCGSM(4개 클래스일 경우 52.82%)와 GLRR-21(4개 클래스일 경우 69.72%)를 초월했다.
• 커널화된 KGLRR 모델은 특히 클래스 수가 증가하고 노이즈 조건이 악화될수록 뛰어난 안정성과 강건성을 보였다.
• GLRR-F는 폐형 해를 확보하여 효율적인 최적화를 가능하게 했고, GLRR-21는 비정규 분포 노이즈를 가진 이방성에 효과적으로 대응했다.
• 그라스만 커널 함수를 통합한 커널화 프레임워크는 더 나은 비선형 유사도 학습을 가능하게 하여 모든 데이터셋에서 일관되게 높은 군집 정확도를 달성했다.
• 높은 메모리 사용에도 불구하고 GLRR-21는 테스트 시 강력한 성능을 보였지만, 계산 자원 제약으로 인해 결과가 최적화되지 못했다.