[논문 리뷰] Robust CUR Decomposition: Theory and Imaging Applications

HanQin Cai, Keaton Hamm외 2명|arXiv (Cornell University)|2021. 01. 05.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 9

한 줄 요약

이 논문은 Robust CUR 분해를 제안하며, Robust PCA와 CUR 분해를 융합하여 희박한 이상치에 강건한 빠르고 해석 가능한 저질서 행렬 근사 방법을 제공한다. 표준 RPCA와 유사한 정확도를 달성하면서도 특히 영상 및 얼굴 데이터에서 훨씬 빠른 성능을 보이며, 실제 데이터 열을 사용하기 때문에 SVD 기반 방법보다 더 해석 가능한 기준 프레임이나 얼굴 모델을 생성한다.

ABSTRACT

This paper considers the use of Robust PCA in a CUR decomposition framework and applications thereof. Our main algorithms produce a robust version of column-row factorizations of matrices $\mathbf{D}=\mathbf{L}+\mathbf{S}$ where $\mathbf{L}$ is low-rank and $\mathbf{S}$ contains sparse outliers. These methods yield interpretable factorizations at low computational cost, and provide new CUR decompositions that are robust to sparse outliers, in contrast to previous methods. We consider two key imaging applications of Robust PCA: video foreground-background separation and face modeling. This paper examines the qualitative behavior of our Robust CUR decompositions on the benchmark videos and face datasets, and find that our method works as well as standard Robust PCA while being significantly faster. Additionally, we consider hybrid randomized and deterministic sampling methods which produce a compact CUR decomposition of a given matrix, and apply this to video sequences to produce canonical frames thereof.

연구 동기 및 목표

• 대규모 데이터 행렬에서 희박한 이상치를 다룰 수 있는 강건하고 계산 효율성이 높은 CUR 분해를 개발한다.
• SVD나 QR과 같은 추상적인 기저가 아닌 실제 데이터 열을 사용하여 해석 가능한 저질서 근사를 가능하게 한다.
• 영상 배경-전경 분離 및 희박한 가림이 있는 얼굴 모델링과 같은 실세계 영상 작업에 이 방법을 적용한다.
• 표준 Robust PCA와 유사한 성능을 달성하면서도 런타임을 크게 줄이는 것을 입증한다.
• 컴act하고 대표적인 CUR 인자분해를 만들기 위해 랜덤 및 결정적 선택을 조합한 하이브리드 샘플링 전략을 도입한다.

제안 방법

• 행렬 D를 저질서 L과 희박한 S 성분으로 분리하기 위해 Robust PCA를 CUR 분해 프레임워크에 통합한다.
• 정리된 이론적 샘플링 한계(정리 3.10)에 기반하여 랜덤 컬럼 샘플링을 사용해 초기 대표 컬럼을 선택한다.
• 정확히 r개의 대표 컬럼을 샘플된 집합에서 선택하기 위해 결정적 샘플링 알고리즘(알고리즘 3)을 적용하여 CUR 인자분해를 구성한다.
• 두 단계 샘플링 과정을 활용: 먼저 차원을 줄이기 위해 랜덤 샘플링을 수행하고, 이후 재구성 오차를 최소화하기 위해 결정적 선택을 수행한다.
• 데이터의 자기 표현 성질을 활용하여 실제 데이터 열이 전체 행렬에 대한 사전(dictionary) 역할을 하게 하여 해석성을 향상시킨다.
• 선택된 기준 프레임의 품질 평가에 대해 투영 오차의 프로베니우스 노름 ||L - C C† L||_F 를 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 CUR 분해는 희박한 이상치에 강건하면서도 해석 가능성과 계산 효율성을 유지할 수 있는가?
• RQ2 영상 및 얼굴 데이터 세트에서 Robust CUR의 정확도와 속도가 표준 Robust PCA와 비교해 어떻게 되는가?
• RQ3 하이브리드 샘플링 전략(랜덤 + 결정적)은 대규모 영상 데이터에 대해 컴팩트하고 고품질의 CUR 인자분해를 생성할 수 있는가?
• RQ4 선택된 CUR 컬럼은 배경 모델링 작업에서 SVD 기저 벡터보다 더 해석 가능한 기준 프레임을 제공하는가?
• RQ5 얼굴 데이터에서 희박한 가림이 존재하는 상황에서도 이 방법은 기저의 저질서 구조를 어느 정도 유지하는가?

주요 결과

• Robust CUR 분해는 영상 배경-전경 분리 및 얼굴 모델링 작업에서 표준 RPCA와 유사한 성능을 달성한다.
• 이 방법은 표준 RPCA보다 훨씬 빠르며, ExtYaleB 얼굴 데이터셋에서 총 런타임 20.16초를 기록한 반면 RPCA는 31.38초였다.
• Robust CUR에서 선택된 기준 배경 프레임은 SVD 기저 벡터보다 더 해석 가능하다. 예를 들어 창문 빛이 있을 때와 없을 때의 서로 다른 물리적 배경 상태를 명확히 표현한다.
• 정적 배경이 있는 영상 시퀀스에서는 Robust CUR가 두 개의 매우 유사한 기준 프레임을 선택하여 주된 배경 상태를 정확히 반영하지만, SVD 기저 벡터는 이러한 물리적 의미를 전달하지 못한다.
• 얼굴 모델링 작업에서는 RCUR와 RPCA 모두 높은 품질의 얼굴 모델과 가림 추정치를 생성하여 제안된 방법의 강건성과 정확성을 확인한다.
• 하이브리드 샘플링 전략은 투영 오차 ||L - C C† L||_F 로 측정된 낮은 재구성 오차를 유지하면서도 계산 비용을 효과적으로 줄였다.