[논문 리뷰] Analysis and Improvement of Low Rank Representation for Subspace segmentation

Siming Wei, Zhouchen Lin|arXiv (Cornell University)|2011. 07. 08.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 49

한 줄 요약

이 논문은 부분공간 분할을 위한 저질서 표현(LRR)을 분석하며, 노이즈가 없는 경우 LRR가 형상 상호작용 행렬(SIM) 분해와 동치임을 증명하고, 최적화 최소값이 데이터 행렬의 질서와 연결됨을 밝힌다. 이를 바탕으로 보다 높은 노이즈에 대한 저항성을 확보하기 위해 보정된 데이터를 사전으로 사용하는 RSI(Robust Shape Interaction)를 제안하며, 합성 및 실제 데이터에서의 검증을 통해 LRR보다 뛰어난 내성 확보를 입증한다.

ABSTRACT

We analyze and improve low rank representation (LRR), the state-of-the-art algorithm for subspace segmentation of data. We prove that for the noiseless case, the optimization model of LRR has a unique solution, which is the shape interaction matrix (SIM) of the data matrix. So in essence LRR is equivalent to factorization methods. We also prove that the minimum value of the optimization model of LRR is equal to the rank of the data matrix. For the noisy case, we show that LRR can be approximated as a factorization method that combines noise removal by column sparse robust PCA. We further propose an improved version of LRR, called Robust Shape Interaction (RSI), which uses the corrected data as the dictionary instead of the noisy data. RSI is more robust than LRR when the corruption in data is heavy. Experiments on both synthetic and real data testify to the improved robustness of RSI.

연구 동기 및 목표

• 저질서 표현(LRR)의 이론적 기초를 부분공간 분할에서 분석하는 것.
• 노이즈가 없는 경우 LRR와 형상 상호작용 행렬(SIM) 분해 간의 동치성을 확립하는 것.
• 노이즈가 있는 조건에서 LRR의 행동과 강건한 주성분 분석(robust PCA) 간의 관계를 조사하는 것.
• 새로운 방법을 제안하여 LRR의 중대한 데이터 오염에 대한 내성 향상을 도모하는 것.
• 합성 및 실제 데이터 세트에서 제안된 방법의 성능 향상을 검증하는 것.

제안 방법

• 노이즈가 없는 경우, LRR 최적화 모델이 데이터 행렬의 형상 상호작용 행렬(SIM)과 정확히 동일한 유일한 해를 가짐을 증명한다.
• LRR 최적화 모델의 최소값이 데이터 행렬의 질서와 정확히 일치함을 보여준다.
• 노이즈가 있는 경우, LRR가 열 희박 강건한 주성분 분석을 통한 노이즈 제거를 통합한 분해 방법으로 해석될 수 있음을 보여준다.
• 원래의 노이즈 있는 데이터 대신 보정된 데이터 행렬을 사전으로 사용하는 Robust Shape Interaction(RSI)를 제안한다.
• 저질서 표현 과정에서 노이즈 보정된 표현을 활용하여 내성을 향상시키기 위해 RSI를 공식화한다.
• 노이즈 보정을 사전 학습 단계에 통합하여 고오염 수준에서도 부분공간 분할 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 노이즈가 없는 경우, LRR와 형상 상호작용 행렬(SIM) 분해 간의 이론적 관계는 무엇인가?
• RQ2 LRR 최적화 모델의 최소값은 데이터 행렬의 질서와 어떻게 관련이 있는가?
• RQ3 노이즈가 있는 조건에서 LRR는 열 희박 강건한 주성분 분석을 통합한 분해 방법을 어느 정도 근사하는가?
• RQ4 노이즈 있는 데이터를 보정된 데이터로 대체하여 사전으로 사용하는 것이 부분공간 분할의 내성 향상에 기여하는가?
• RQ5 중대한 데이터 오염 상황에서 제안된 RSI 방법은 LRR에 비해 어떤 정도 내성 면에서 뛰어나게 되는가?

주요 결과

• 노이즈가 없는 경우, LRR 최적화 모델은 수학적으로 데이터 행렬의 형상 상호작용 행렬(SIM)과 정확히 동일한 유일한 해를 가진다.
• LRR 최적화 모델의 최소값은 정확히 데이터 행렬의 질서와 일치한다.
• 노이즈가 있는 조건에서 LRR는 열 희박 강건한 주성분 분석을 통한 노이즈 제거를 통합한 분해 방법으로 해석될 수 있다.
• 보정된 데이터를 사전으로 사용하는 제안된 RSI 방법은 데이터 오염 수준이 높을 경우 LRR에 비해 뛰어난 내성을 보인다.
• 합성 및 실제 데이터에 대한 실험을 통해 RSI가 중대한 오염 상황에서도 부분공간 분할 성능을 향상시키며, 내성 향상이 검증됨을 확인하였다.