[논문 리뷰] Dual Principal Component Pursuit

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|2015. 10. 15.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 7

한 줄 요약

이 논문은 이상치에 의해 손상된 데이터로부터 선형 부분공간을 안정적으로 추정하기 위해 구면 위에서 비볼록 ℓ₁ 최소화 방법인 이중 주성분 추적(Dual Principal Component Pursuit, DPCP)을 제안한다. 비선형 프로그래밍의 반복적 접근을 통해 내측 부분공간의 법선 벡터를 구함으로써 DPCP는 유한 수렴을 이룩하고 전역 최적해에 도달한다. 특히 상대적 차원이 높은 부분공간과 최대 70%의 이상치에 대해 뛰어난 성능을 보이며, 시뮬레이션 및 컴퓨터 비전 실험에서 최신 기법들을 능가한다.

ABSTRACT

We consider the problem of learning a linear subspace from data corrupted by outliers. Classical approaches are typically designed for the case in which the subspace dimension is small relative to the ambient dimension. Our approach works with a dual representation of the subspace and hence aims to find its orthogonal complement; as such, it is particularly suitable for subspaces whose dimension is close to the ambient dimension (subspaces of high relative dimension). We pose the problem of computing normal vectors to the inlier subspace as a non-convex $\ell_1$ minimization problem on the sphere, which we call Dual Principal Component Pursuit (DPCP) problem. We provide theoretical guarantees under which every global solution to DPCP is a vector in the orthogonal complement of the inlier subspace. Moreover, we relax the non-convex DPCP problem to a recursion of linear programs whose solutions are shown to converge in a finite number of steps to a vector orthogonal to the subspace. In particular, when the inlier subspace is a hyperplane, the solutions to the recursion of linear programs converge to the global minimum of the non-convex DPCP problem in a finite number of steps. We also propose algorithms based on alternating minimization and iteratively re-weighted least squares, which are suitable for dealing with large-scale data. Experiments on synthetic data show that the proposed methods are able to handle more outliers and higher relative dimensions than current state-of-the-art methods, while experiments in the context of the three-view geometry problem in computer vision suggest that the proposed methods can be a useful or even superior alternative to traditional RANSAC-based approaches for computer vision and other applications.

연구 동기 및 목표

• 기존의 강건한 주성분 분석(PCA) 기법이 상대적 차원이 높은 부분공간(d/D ≈ 1)에서 실패하는 데 기인한 한계를 해결하기 위해.
• 직접 부분공간을 추정하는 대신 내측 부분공간의 직교 여부를 추정하는 이중 형식을 개발하기 위해.
• 약한 조건 하에 DPCP 형식의 전역 최적성에 대한 이론적 보장을 제공하기 위해.
• 국소 최솟값을 피하기 위해 선형 프로그래밍의 반복적 접근을 통한 유한 수렴 알고리즘 설계하기 위해.

제안 방법

• 내측 부분공간의 법선 벡터를 찾기 위해 단위 구면 위에서 비볼록 ℓ₁ 최소화 문제로 문제를 재구성한다.
• 비볼록 문제를 완화하기 위해 선형 프로그래밍의 반복적 접근을 도입하여 전역 최적해로의 유한 수렴을 보장한다.
• 안정성 확보와 자명한 해 방지를 위해 정규화 조건 bᵀb = 1과 이중 조건 bᵀn̂ₖ = 1을 사용한다.
• 대규모 데이터 응용을 위해 교차 최소화와 반복 가중 최소 제곱법(Iteratively Reweighted Least Squares, IRLS)을 활용한다.
• 데이터 행렬의 D−1개의 선형 독립적인 점들에 수직인 임의의 해가 최적임을 증명하고, 이로 인해 유한 수렴이 보장됨을 밝힌다.
• 삼중 텐서를 활용한 삼중 시점 기하 문제에 적용하여 컴퓨터 비전 분야에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 내측 부분공간이 거의 전체 차원에 가까운 고상대적 차원 부분공간에서, 표준 방법보다 이중 형식 PCA가 더 나은 성능을 보일 수 있는가?
• RQ2 비볼록 DPCP 문제는 어떤 조건에서 내측 부분공간의 직교 여부에 위치한 전역 최적해를 가질 수 있는가?
• RQ3 선형 프로그래밍의 반복적 접근이 비볼록 DPCP 문제의 전역 최소값으로 유한하게 수렴할 수 있는가?
• RQ4 합성 및 실제 환경에서 이상치 비율이 극도로 높은 경우, 예를 들어 70% 이상의 이상치가 존재할 때, 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ5 DPCP 프레임워크는 대규모 데이터 및 삼중 텐서 추정과 같은 컴퓨터 비전 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 약한 조건 하에 DPCP 형식은 모든 전역 최적해가 내측 부분공간의 직교 여부에 위치함을 보장한다.
• 선형 프로그래밍의 반복적 접근은 DPCP 문제의 임계점으로 유한 단계 내에 수렴하며, 내측 부분공간이 초평면인 경우 전역 최적성을 보장한다.
• 초평면 복구에서 DPCP는 최대 70%의 이상치를 성공적으로 처리하며, 이 영역에서 최신 기법들을 능가하는 성능을 보인다.
• 합성 데이터 실험에서 DPCP는 다른 기법들이 실패하는 고이상치 비율과 고상대적 차원 조건에서도 강건성을 유지함을 보였다.
• 삼중 시점 기하에서 DPCP 기반 방법은 전통적인 RANSAC 기반 접근법과 비교해도 뛰어난 또는 경쟁 가능한 성능을 보였다.
• 교차 최소화와 IRLS 기반으로 제안된 알고리즘은 이론적 수렴 보장을 유지하면서도 대규모 데이터셋에 효과적으로 스케일링된다.