[논문 리뷰] Tensor Robust Principal Component Analysis: Better recovery with atomic norm regularization

Derek Driggs, Stephen Becker외 1명|arXiv (Cornell University)|2019. 01. 30.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 6

한 줄 요약

이 논문은 손상된 데이터에서 저질서 및 희소 텐서 성분을 복원하기 위해 원자 노름 정규화를 사용하는 텐서 강건 주성분 분석(RPCA) 방법을 제안한다. 이는 텐서 RPCA에 대한 첫 번째 성능 보장을 수립하며, 행렬 기반 및 매트리시제이션 기반 방법보다 향상된 복원 성능을 보이며, 모든 국소 최적해가 전역 최적해인 비볼록 공식화를 제안하여 고질서 텐서의 효율적이고 정확한 복원을 가능하게 한다.

ABSTRACT

This paper studies tensor-based Robust Principal Component Analysis (RPCA) using atomic-norm regularization. Given the superposition of a sparse and a low-rank tensor, we present conditions under which it is possible to exactly recover the sparse and low-rank components. Our results improve on existing performance guarantees for tensor-RPCA, including those for matrix RPCA. Our guarantees also show that atomic-norm regularization provides better recovery for tensor-structured data sets than other approaches based on matricization. In addition to these performance guarantees, we study a nonconvex formulation of the tensor atomic-norm and identify a class of local minima of this nonconvex program that are globally optimal. We demonstrate the strong performance of our approach in numerical experiments, where we show that our nonconvex model reliably recovers tensors with ranks larger than all of their side lengths, significantly outperforming other algorithms that require matricization.

연구 동기 및 목표

• 행렬 기반 및 매트리시제이션 기반 접근 방식보다 더 나은 복원 성능을 보이며 고차원 구조를 유지하는 강건한 텐서 RPCA 방법을 개발하는 것.
• 텐서 원자 노름 정규화를 사용한 텐서 RPCA에 대한 이론적 성능 보장을 수립하여 기존 텐서 및 행렬 RPCA의 경계를 향상시키는 것.
• 모든 국소 최적해가 전역 최적해를 유지하는 비볼록 최적화 공식화를 설계하여 효율적인 계산을 가능하게 하는 것.
• 기존 방법이 실패하는 상황, 즉 풀 텐서 랭크에 도달하거나 측면 길이를 초월하는 CP-랭크를 가진 텐서에서의 복원 성능을 입증하는 것.
• 잠재 변수 모델, 예를 들어 토픽 모델링과 같은 분야에 적용하여 더 높은 강건성과 해석 가능성 향상을 보이는 것.

제안 방법

• 텐서 원자 노름을 텐서 랭크의 볼록 근사로 사용하여 고차원 텐서로 핵심 노름을 일반화한다.
• 볼록 최적화 문제를 해결: 데이터 일致성 조건 하에 텐서 원자 노름과 희소 성분의 l1-노름의 합을 최소화한다.
• 낮은 순서의 요소들의 곱으로 저질서 텐서를 매개변수화하는 고차원 Burer-Monteiro 인수분해를 통한 비볼록 공식화를 제안한다.
• 일부 조건 하에 비볼록 프로그램의 모든 국소 최적해가 전역 최적해임을 입증하여 신뢰할 수 있는 최적화를 가능하게 한다.
• 일阶 최적화 방법을 비볼록 공식화에 적용하여 확장 가능하고 효율적인 계산을 수행한다.
• 안정적인 화이트닝 단계를 피하기 위해 잠재 변수 모델의 모멘트 텐서 분해에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 텐서 RPCA에서 원자 노름 정규화가 저질서 텐서 분해에 있어 매트리시제이션 기반 접근 방식보다 더 나은 복원 성능을 달성할 수 있는가?
• RQ2 텐서 원자 노름을 사용한 텐서 RPCA에 대해 어떤 이론적 성능 보장을 수립할 수 있는가?
• RQ3 텐서 RPCA의 비볼록 공식화가 국소 최적해의 전역 최적성을 유지할 수 있는가? 이는 효율적이고 신뢰할 수 있는 복원을 가능하게 하는가?
• RQ4 CP-랭크가 어떤 측면 길이보다 큰 텐서에 대해 이 방법은 어떻게 성능을 발휘하는가? 이는 합-핵심노름 모델이 불안정한 영역이다.
• RQ5 잠재 변수 모델, 특히 희소 손상 상황에서의 토픽 모델링과 같은 분야에서 텐서 RPCA를 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 원자 노름 정규화를 통한 텐서 RPCA는 기존 방법들, 특히 행렬 RPCA 및 매트리시제이션 기반 접근 방식보다 더 나은 복원 보장을 달성한다.
• 이 방법은 CP-랭크가 모든 측면 길이를 초월하는 경우조차도 풀 텐서 랭크를 가진 텐서를 성공적으로 복원한다. 이는 합-핵심노름 모델이 실패하는 영역이다.
• 수치 실험 결과, 텐서 RPCA는 변분 베이즈(1417)와 텐서 CPD(1503)보다 낮은 퍼플렉서티(1309)와 더 나은 토픽 일관성을 보이며, 더 빠른 분해 속도(5.13초 대비 44.71초)를 기록한다.
• 비볼록 공식화는 검증 가능한 조건 하에 모든 국소 최적해가 전역 최적해임을 보장하여 일阶 방법을 사용한 신뢰할 수 있는 수렴을 가능하게 한다.
• 불안정한 화이트닝 단계를 피하고 기저 분포의 선형 독립성을 요구하지 않아 모멘트 텐서 추정에 대해 강건하다.
• Tucker-랭크 기반 성능 보장은 날카롭지만, CP-랭크 기반 보장은 아직 충분히 날카롭지 않아 향후 원자 랭크 또는 CP-랭크 기반 분석이 필요하다.