[논문 리뷰] Online Low-Rank Subspace Clustering by Basis Dictionary Pursuit

Jie Shen, Ping Li외 1명|arXiv (Cornell University)|2015. 03. 28.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 44

한 줄 요약

이 논문은 기저 사전 탐색을 통한 온라인 저질서 부분공간 군집화 방법을 제안하며, 메모리 비용을 O(n²)에서 O(pd)로 감소시킨다. 여기서 p는 임베딩 차원이고 d는 추정된 질서이다. 이 방법은 기대 손실의 정상점으로 渐진 수렴하며, 합성 및 실제 데이터셋에서 빠르고 강인하고 메모리 효율적인 성능을 보인다.

ABSTRACT

Low-Rank Representation (LRR) has been a significant method for segmenting data that are generated from a union of subspaces. It is also known that solving LRR is challenging in terms of time complexity and memory footprint, in that the size of the nuclear norm regularized matrix is n-by-n (where n is the number of samples). In this paper, we thereby develop a novel online implementation of LRR that reduces the memory cost from O(n2) to O(pd), with p being the ambient dimension and d being some estimated rank (d ≤ p ≪ n). We also establish the theoretical guarantee that the sequence of solutions produced by our algorithm converges to a stationary point of the expected loss function asymptotically. Extensive experiments on synthetic and realistic datasets further substantiate that our algorithm is fast, robust and memory efficient.

연구 동기 및 목표

• n×n 행렬 연산으로 인해 O(n²)로 증가하는 전통적인 저질서 표현(Low-Rank Representation, LRR)의 높은 시간 복잡도와 메모리 사용량 문제를 해결한다.
• 전체 데이터 행렬을 저장하지 않고도 스트리밍 데이터를 동적으로 처리할 수 있는 LRR의 온라인 변종을 개발한다.
• 메모리 사용량을 O(n²)에서 O(pd)로 감소시키며, 여기서 d ≪ n은 추정된 저질서이고 p는 임베딩 차원이다.
• 알고리즘의 해 수열이 기대 손실 함수의 정상점으로 수렴하는 것을 이론적으로 확보한다.
• 대규모 및 스트리밍 데이터 응용 분야에서의 부분공간 군집화에 있어 확장성과 강인성을 보장한다.

제안 방법

• 데이터를 저차원 부분공간에 표현하기 위해 기저 사전 탐색 프레임워크를 사용해 온라인 LRR를 수립한다.
• 전체 n×n 표현 행렬을 저장하는 대신, 크기가 O(pd)인 압축된 사전을 유지한다.
• 새로운 데이터 샘플이 도착함에 따라 사전을 점진적으로 갱신하여 온라인 처리를 가능하게 한다.
• 대표 행렬의 저질서 구조를 촉진하기 위해 노름-핵 정규화를 사용한다.
• 현재 데이터 부분공간을 가장 잘 표현하는 기저 벡터를 선택하기 위해 탐욕적 탐색 전략을 적용한다.
• 해 수열이 기대 손실 함수의 정상점으로 수렴함을 보여줌으로써 이론적 수렴을 확보한다.

실험 결과

연구 질문

• RQ1 온라인 LRR는 군집 정확도를 유지하면서 메모리 사용량을 크게 줄일 수 있는가?
• RQ2 제안된 온라인 알고리즘이 기대 손실 함수의 정상점으로 수렴하는가?
• RQ3 대규모 환경에서 제안된 방법의 메모리 효율성은 배치 LRR와 어떻게 비교되는가?
• RQ4 스트리밍 또는 대규모 데이터를 처리할 때 알고리즘이 강인성과 속도를 유지할 수 있는가?
• RQ5 추정된 질서 d와 임베딩 차원 p가 알고리즘의 성능과 메모리 사용량에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 O(n²)에서 O(pd)로 메모리 비용을 감소시켜 n이 클 경우 대규모 데이터셋에 대한 확장성을 가능하게 한다.
• 알고리즘이 기대 손실 함수의 정상점으로 渐진 수렴함을 입증한다.
• 광범위한 실험 결과, 배치 LRR보다 훨씬 빠르고 메모리 효율적인 것으로 나타났다.
• 노이즈 및 부분공간 조건이 다양할 때 합성 및 실제 세계 데이터셋 모두에서 강인한 성능을 유지한다.
• 알고리즘의 온라인 특성 덕분에 전체 데이터 저장이 필요 없이 점진적 처리가 가능하다.