[논문 리뷰] Robust Subspace Recovery via Bi-Sparsity Pursuit

Xiao Bian, Hamid Krim|arXiv (Cornell University)|2014. 03. 31.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 고차원 데이터에서 임의의 희박한 오염에 의해 손상된 경우에도 낮은 차원의 부분공간과 희박한 오차를 동시에 회복하는 새로운 알고리즘인 Bi-Sparsity Pursuit를 통한 강건한 부분공간 복원(RoSuRe)을 제안한다. 이중 희박성 모델을 활용한 비볼록 최적화 문제로 공식화함으로써, 충분한 조건 하에서 정확한 복원을 달성하고, 합성 및 실제 컴퓨터 비전 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

Successful applications of sparse models in computer vision and machine learning imply that in many real-world applications, high dimensional data is distributed in a union of low dimensional subspaces. Nevertheless, the underlying structure may be affected by sparse errors and/or outliers. In this paper, we propose a bi-sparse model as a framework to analyze this problem and provide a novel algorithm to recover the union of subspaces in presence of sparse corruptions. We further show the effectiveness of our method by experiments on both synthetic data and real-world vision data.

연구 동기 및 목표

• 모든 데이터 샘플이 희박한 오차에 의해 손상되어 부분공간의 구조와 클러스터링이 손상되는 상황에서 부분공간의 합집합(UoS)을 복원하는 도전 과제를 해결한다.
• 기존 방법이 일부 데이터만 오염된 경우를 가정하는 한계를 극복하기 위해, 모든 샘플이 영향을 받는 경우를 모델링한다.
• 데이터를 부분공간으로의 정확한 분할, 기저가 되는 저랭크 부분공간, 그리고 희박한 오차 행렬을 동시에 회복한다.
• 제안된 최적화 프레임워크 하에서 진짜 부분공간 구조와 오차 행렬의 정확한 복원을 보장하는 이론적 조건을 제공한다.

제안 방법

• 대표 행렬 W의 0-노름과 오차 행렬 E의 0-노름을 가중치 파라미터 λ로 조합한 비볼록 최적화 문제로 문제를 공식화한다.
• 데이터 행렬 X가 청소된 부분공간을 나타내는 저랭크 행렬 L과 희박한 오차 행렬 S로 분해되며, L이 블록 대각형 표현 제약 조건을 만족하는 이중 희박성 모델을 도입한다.
• 최적화 목표 함수를 f(L, E) = ||W||₀ / λ + ||E||₀로 정의하며, 여기서 W는 L = LW를 만족하는 대표 행렬이고, E = X - L이다.
• 비볼록 문제의 전역 최소화점을 반복적으로 근사하기 위해 교대 최소화와 임계값 처리 단계를 포함하는 RoSuRe 알고리즘을 제안한다.
• 오차 행렬의 지지 집합을 분리하고 해에 희박성 조건을 강제하기 위해 정규직교 투영 연산자 P_{Ω_A}와 P_{Ω_A^c}를 사용한다.
• 해 공간에 대한 편미분 분석을 통해 오차의 희박성과 대표 구조 간의 관계를 기반으로 정확한 복원을 위한 충분조건을 수립한다.

실험 결과

연구 질문

• RQ1 모든 데이터 샘플이 오염된 상황에서 통합 프레임워크가 기저가 되는 부분공간의 합집합과 희박한 오차를 동시에 복원할 수 있는가?
• RQ2 모든 샘플이 오염된 상황에서 진짜 부분공간 구조와 오차 행렬의 정확한 복원을 보장하는 이론적 조건은 무엇인가?
• RQ3 제안된 이중 희박성 모델은 기존의 저랭크 및 희박한 대표 모델에 비해 광범위한 희박한 오염을 다룰 때 어떻게 비교되는가?
• RQ4 실제로 RoSuRe 알고리즘이 비볼록 최적화 문제의 전역 해를 효과적으로 근사할 수 있는가?
• RQ5 다양한 오염 수준에서 합성 데이터와 실제 컴퓨터 비전 데이터셋에 대한 RoSuRe의 경험적 성능은 어떠한가?

주요 결과

• 제안된 RoSuRe 알고리즘은 모든 샘플이 희박한 오차에 의해 손상된 경우에도 데이터를 부분공간으로의 정확한 분할과 기저가 되는 저랭크 구조를 성공적으로 회복한다.
• 정확한 복원을 위한 충분조건이 증명되었다: λ ≥ ||W₀||₁ / σ 이면, 진짜 해가 전역 최소화자이다. 여기서 σ는 편미분의 ℓ₁-노름 차이에 대한 하한이다.
• 합성 데이터에 대한 실험 결과, 이론적 조건을 만족할 경우 RoSuRe는 100% 복원 정확도를 달성하며, 높은 희박성 수준에 대해서도 강인함을 보였다.
• 실제 비전 데이터, 예를 들어 얼굴 및 동작 캡처 데이터셋에서는 RoSuRe가 기준 방법보다 부분공간 클러스터링 및 오차 보정 작업에서 뛰어난 성능을 보였다.
• 부분공간이 겹치거나 데이터가 매우 오염된 경우에도 강력한 성능을 보이며, 복잡한 노이즈 패tern에 대한 내성성을 보였다.
• 이론적 분석을 통해 비볼록 문제의 전역 최소화자가 유도된 조건 하에서 진짜 부분공간과 오차 분해에 해당함을 확인했다.