[논문 리뷰] Kernelized LRR on Grassmann Manifolds for Subspace Clustering

Boyue Wang, Yongli Hu외 3명|arXiv (Cornell University)|2016. 01. 09.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 5

한 줄 요약

이 논문은 부분공간 군집화를 위해 그라스만 다양체 위의 커널화된 저랭크 표현(LRR)을 제안한다. 부분공간을 그라스만 다양체 상의 점으로 모델링하고, 비선형 구조를 포착하기 위해 커널화된 LRR를 활용한다. 이 방법은 최첨단 기법들을 능가하며, 복잡한 교통 데이터셋에서 82.21%의 정확도를 달성하여 닫힌 형태의 해법과 ADMM 최적화를 통해 노이즈와 비정규 분포 외곽치에 대해 강건함을 입증한다.

ABSTRACT

Low rank representation (LRR) has recently attracted great interest due to its pleasing efficacy in exploring low-dimensional sub- space structures embedded in data. One of its successful applications is subspace clustering, by which data are clustered according to the subspaces they belong to. In this paper, at a higher level, we intend to cluster subspaces into classes of subspaces. This is naturally described as a clustering problem on Grassmann manifold. The novelty of this paper is to generalize LRR on Euclidean space onto an LRR model on Grassmann manifold in a uniform kernelized LRR framework. The new method has many applications in data analysis in computer vision tasks. The proposed models have been evaluated on a number of practical data analysis applications. The experimental results show that the proposed models outperform a number of state-of-the-art subspace clustering methods.

연구 동기 및 목표

• 유사도 기반의 LRR가 비선형 고차원 데이터를 모델링하는 데에 한계가 있음을 해결하기 위해 LRR를 그라스만 다양체로 일반화한다.
• 부분공간의 내재 기하적 성질을 다양체 임bedding을 통해 통합하여 군집 성능 향상을 도모한다.
• 비선형 관계를 포착하면서도 저랭크 구조를 유지하는 커널화된 LRR 프레임워크를 개발한다.
• 실제 컴퓨터 비전 작업, 특히 교통 모니터링 및 이미지 세트 군집화에 대해 이 방법을 평가한다.
• 어려운 데이터셋에서의 비교 실험을 통해 노이즈와 외곽치에 대한 강건성을 입증한다.

제안 방법

• 이미지 세트를 부분공간 차원 p와 특징 차원 n을 가진 그라스만 다양체 G(p, n) 상의 점으로 표현한다.
• 임베딩 함수를 통해 그라스만 다양체의 점을 대칭 정부호 행렬로 매핑하여 유클리드 계산을 가능하게 한다.
• 임베딩된 대칭 행렬 공간에서 핵심 범위 최소화를 이용해 저랭크 표현 모델을 구성한다.
• 노이즈가 정규 분포임을 가정한 GLRR-F는 닫힌 형태의 해법을 제안하고, 비정규 분포 외곽치가 있는 경우 ADMM 최적화를 사용한 GLRR-21을 제안한다.
• 비선형 데이터 구조를 다룰 수 있도록 커널 함수를 사용해 LRR 모델을 커널화된 형태(KGLRR-ccp)로 일반화한다.
• 최종 군집 결과를 도출하기 위해 NCut 스펙트럼 군집화 알고리즘에서 학습된 계수 행렬을 사용한다.

실험 결과

연구 질문

• RQ1 유사도 기반의 LRR가 유클리드 공간에서 그라스만 다양체로 효과적으로 일반화될 수 있는가?
• RQ2 그라스만 다양체 상의 점으로 부분공간을 모델링할 경우, 고차원 비선형 데이터에서 군집 성능이 어떻게 향상되는가?
• RQ3 커널화가 비정규 분포 노이즈와 복잡한 데이터 분포 하에서 LRR 기반 군집의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 GLRR-F 및 GLRR-21 모델은 기존의 LRR 및 SSC 방법과 비교해 군집 정확도와 강건성 측면에서 어떻게 다른가?
• RQ5 실제 영상 기반 교통 군집화 작업에서 그라스만 다양체 프레임워크는 유클리드 기반 방법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 KGLRR-ccp 방법은 복잡한 Road Traffic 데이터셋에서 82.21%의 군집 정확도를 달성하여 모든 기준 방법들을 능가했다.
• Highway Traffic 데이터셋에서 KGLRR-ccp는 82.21%의 정확도를 기록했으며, 다음으로 우수한 방법보다 최소 15个百分点 높았다.
• GLRR-F는 Highway Traffic 데이터셋에서 80.63%의 정확도를 달성했으며, LRR(68.38%)와 SSC(62.85%)를 상당히 앞서갔다.
• 기상 변화 및 조명 변화와 같은 환경 변화가 있는 데이터셋에서 그라스만 기반 방법(GLErr-F, KGLRR-ccp)이 뛰어난 강건성을 보였다.
• 유클리드 기반 방법(SSC, LRR)이 잘 작동하는 경우에도 그라스만 기반 모델은 항상 우월한 성능 유지를 보였으며, 특히 복잡한 조건에서 두드러졌다.
• GLRR-F의 닫힌 형태의 해법은 효율적인 계산을 가능하게 했고, ADMM 기반의 GLRR-21은 비정규 분포 외곽치를 효과적으로 처리했다.