[논문 리뷰] Side Information in Robust Principal Component Analysis: Algorithms and Applications

Niannan Xue, Yannis Panagakis외 1명|arXiv (Cornell University)|2017. 02. 02.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 3

한 줄 요약

이 논문은 낮은 질서 성분 또는 그의 열/행 공간에 대한 약간의 근사치와 같은 노이즈가 섞인 보조 정보를 통합하여 복원 정확도와 강건성을 향상시키는 새로운 볼록 최적화 프레임워크를 제안한다. 이 보조 정보는 PCP 설정에 증명 가능하게 수렴하는 ADMM 솔버를 통해 통합되며, 배경 분리 및 얼굴 인식을 포함한 네 가지 응용 분야에서 여섯 가지 이전 방법보다 뛰어난 성능을 보이며, 더 적은 수의 훈련 샘플을 요구함으로써 계산 비용을 절감한다.

ABSTRACT

Dimensionality reduction and noise removal are fundamental machine learning tasks that are vital to artificial intelligence applications. Principal component analysis has long been utilised in computer vision to achieve the above mentioned goals. Recently, it has been enhanced in terms of robustness to outliers in robust principal component analysis. Both convex and non-convex programs have been developed to solve this new formulation, some with exact convergence guarantees. Its effectiveness can be witnessed in image and video applications ranging from image denoising and alignment to background separation and face recognition. However, robust principal component analysis is by no means perfect. This dissertation identifies its limitations, explores various promising options for improvement and validates the proposed algorithms on both synthetic and real-world datasets. Common algorithms approximate the NP-hard formulation of robust principal component analysis with convex envelopes. Though under certain assumptions exact recovery can be guaranteed, the relaxation margin is too big to be squandered. In this work, we propose to apply gradient descent on the Burer-Monteiro bilinear matrix factorisation to squeeze this margin given available subspaces. This non-convex approach improves upon conventional convex approaches both in terms of accuracy and speed. On the other hand, oftentimes there is accompanying side information when an observation is made. The ability to assimilate such auxiliary sources of data can ameliorate the recovery process. In this work, we investigate in-depth such possibilities for incorporating side information in restoring the true underlining low-rank component from gross sparse noise. Lastly, tensors, also known as multi-dimensional arrays, represent real-world data more naturally than matrices. It is thus advantageous to adapt robust principal component analysis to tensors. Since there is no exact equivalence between tensor rank and matrix rank, we employ the notions of Tucker rank and CP rank as our optimisation objectives. Overall, this dissertation carefully defines the problems when facing real-world computer vision challenges, extensively and impartially evaluates the state-of-the-art approaches, proposes novel solutions and provides sufficient validations on both simulated data and popular real-world datasets for various mainstream computer vision tasks.

연구 동기 및 목표

• 도메인 특화 사전 지식의 부족으로 인해 표준 RPCA가 열악하거나 최적해가 아닌 해를 도출하는 데 기인한 한계를 해결하기 위해.
• 낮은 질서 성분의 노이즈가 섞인 근사치를 보조 정보로 활용하는 강건하고 볼록 최적화 프레임워크를 개발하기 위해.
• 일관된 알고리즘 프레임워크 내에서 낮은 질서 행렬의 열 공간과 행 공간에 대한 사전 지식을 모두 활용할 수 있도록 방법을 확장하기 위해.
• 배경 분리, 얼굴 정제 및 인식 작업을 포함한 다양한 컴퓨터 비전 응용 분야에서 제안된 방법의 효과성과 일반화 능력을 입증하기 위해.
• 보조 정보를 활용함으로써 RPCA의 전도적 제약 조건을 완화하고, 더 적은 샘플로도 효과적인 훈련이 가능하도록 하여 계산 비용을 감소시키기 위해.

제안 방법

• 낮은 질서 성분 L0의 노이즈가 섞인 근사치 W를 제약 조건을 통한 설정을 통해 RPCA 문제에 통합하는 새로운 볼록 최적화 모델을 도입한다.
• 수렴 보장이 가능한 증강 라그랑주 방법과 교대 방향 방법의 다중 승수(ADMM)를 사용하여 유도된 최적화 문제를 해결한다.
• 낮은 질서 행렬의 열 공간(통해 X)과 행 공간(통해 Y)에 대한 보조 정보를 포함하도록 모델을 확장하여 더 유연하고 정확한 복원을 가능하게 한다.
• 낮은 질서 성분에 핵심 노름 펜alties를, 희소 성분에 l1-노름 펜alties를 적용하면서 동시에 데이터 일관성과 보조 정보 제약 조건을 강제한다.
• ADMM 하위 문제에 대해 닫힌 형태의 해를 유도하며, l1-노름에 대해서는 소프트 스레시홀딩, 핵심 노름에 대해서는 특이값 스레시홀딩을 적용한다.
• 두 단계 최적화 프로세스를 활용한다: 먼저 보조 정보를 사용하여 낮은 질서 행렬 H를 추정하고, 그 후 희소 성분 S와 잔차를 정밀 조정한다.

실험 결과

연구 질문

• RQ1 배경 추정치나 중성 얼굴와 같은 노이즈가 섞인 보조 정보가 RPCA에서 낮은 질서 행렬 복원 정확도를 향상시킬 수 있는가?
• RQ2 낮은 질서 행렬의 열 공간과 행 공간에 대한 보조 정보를 어떻게 효과적으로 RPCA 프레임워크에 통합할 수 있는가?
• RQ3 보조 정보를 통합함으로써 필요한 훈련 샘플 수를 줄일 수 있는가? 이는 RPCA의 전도적 제약 조건을 완화하는 데 기여하는가?
• RQ4 제안된 방법이 다양한 실제 데이터 세트에서 여섯 가지 기존 RPCA 방법과 비교하여 정량적으로 어떻게 성능을 냈는가?
• RQ5 노이즈가 섞인 보조 정보 W를 사용하는 것과 데이터에서 직접 이를 빼는 것의 영향은 무엇이며, 후자의 접근 방식이 왜 열등한가?

주요 결과

• 제안된 PCPS 방법은 공항 및 PETS와 같은 배경 분리에 사용된 다섯 개의 실제 데이터 세트에서 여섯 가지 기준 방법보다 뚜렷이 뛰어난 성능을 보였으며, 더 나은 전경 세그멘테이션과 더 깔끔한 배경 복원을 달성했다.
• 공항 데이터 세트에서 PCPS는 60 프레임에 대해 20초의 런타임을 기록했으며, PCP(52초)와 FRPCAG(11초)를 모두 앞서는 성능를 유지했다.
• 얼굴 영상 정제 작업에서는 노이즈가 섞인 입력에서 낮은 질서 성분을 효과적으로 복원하여 정체성과 표정 특징을 경쟁 방법보다 더 잘 유지했다.
• 얼굴 및 표정 인식 작업에서는 훈련 데이터가 제한된 경우 보조 정보의 활용으로 분류 정확도가 향상되었다.
• 보조 정보를 활용함으로써 RPCA의 전도적 제약 조건을 완화하여 더 적은 샘플로도 효과적인 학습이 가능해졌으며, 성능을 희생시키지 않은 채 계산 비용을 절감했다.
• 제거 실험을 통해 보조 정보 W를 직접 데이터에서 빼는 것은 유용한 특징를 손실시키고 임의의 노이즈를 유도하여 낮은 질서 가정을 무너뜨리고 결과를 악화시킨다는 것이 확인되었다.