[논문 리뷰] Robust Matrix Decomposition with Outliers

Daniel Hsu, Sham M. Kakade외 1명|arXiv (Cornell University)|2010. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 27

한 줄 요약

이 논문은 비정규적으로 분포된 이상치가 있는 경우조차도 행렬을 저질서 및 희소 성분으로 분리하는 강력한 행렬 분해 방법을 제안한다. 혼합 $\gamma_1$ 및 트레이스 노름 최소화를 통해 이전 연구보다 더 강력한 복원 보장을 확립하며, 전체 요소의 일정한 비율 이하의 요소가 손상된 경우에도 정확한 복원을 보장한다. 또한 무작위 이상치 패턴을 요구하지 않으며, 작은 변형에 대해서도 강건함을 입증한다.

ABSTRACT

Suppose a given observation matrix can be decomposed as the sum of a low-rank matrix and a sparse matrix (outliers), and the goal is to recover these individual components from the observed sum. Such additive decompositions have applications in a variety of numerical problems including system identification, latent variable graphical modeling, and principal components analysis. We study conditions under which recovering such a decomposition is possible via a combination of $\ell_1$ norm and trace norm minimization. We are specifically interested in the question of how many outliers are allowed so that convex programming can still achieve accurate recovery, and we obtain stronger recovery guarantees than previous studies. Moreover, we do not assume that the spatial pattern of outliers is random, which stands in contrast to related analyses under such assumptions via matrix completion.

연구 동기 및 목표

• 손상된 관측 행렬에서 저질서 및 희소 성분을 신뢰성 있게 복원할 수 있는 볼록 최적화 프레임워크를 개발하는 것.
• 확률적 가정 없이도 결정론적이고 비정규적인 이상치 패턴에서의 복원 보장을 수립하는 것.
• 볼록 완화를 통해 정확한 복원을 보장할 수 있는 이상치의 최대 수를 정량화하는 것.
• 이전 연구보다 더 약한 구조적 가정 하에 큰 행렬에서도 일정한 비율의 요소가 손상된 경우에 복원을 가능하게 하여 개선하는 것.
• 관측 행렬의 작은 변형에 대한 복원 방법의 강건성을 입증하는 것.

제안 방법

• 희소 성분의 항목별 $\ell_1$-노름과 저질서 성분의 트레이스 노름의 합을 최소화하는 볼록 최적화 공식을 사용한다.
• 노이즈가 있는 관측치를 다루고 안정성을 향상시키기 위해 프레셰 노름 피드백 항을 포함한 정규화된 공식을 적용한다.
• 오차 및 해 성분을 분해하기 위해 $\mathcal{P}_{\bar{\Omega}}$, $\mathcal{P}_{\bar{T}}$ 및 그 수반 여집합을 사용한다.
• 이중 노름 분석과 $\alpha(\rho)$, $\beta(\rho)$, $\|\cdot\|_{\flat(\rho)}$를 통한 연산자 노름 한계를 도입하여 복원 오차를 통제한다.
• 레마 5, 레마 10, 레마 15를 사용하여 오차 한계를 유도하며, 해의 편차가 변형 크기와 구조적 비일관성에 어떻게 관련되는지 분석한다.
• 트레이스 노름의 부분미분과 $\ell_1$-노름의 이중 노름을 포함한 이중성 원리를 통해 복원을 확립한다.

실험 결과

연구 질문

• RQ1 저질서 및 희소 성분의 정확한 복원을 보장할 수 있는 이상치의 최대 수(개수 및 분포 기준)는 얼마인가?
• RQ2 무작위 또는 i.i.d. 이상치 패턴을 가정하지 않고도 강력한 행렬 분해를 달성할 수 있는가?
• RQ3 제안된 방법은 이전 방법과 비교해 얼마나 많은 비율의 손상된 요소를 처리할 수 있는가?
• RQ4 랭크 및 희소성 최소화 문제의 볼록 완화가 진정한 분해를 유도하는 조건는 무엇인가?
• RQ5 관측 행렬의 작은 변형에 대해 복원이 얼마나 강건한가?

주요 결과

• 저질서 성분 $X_L$의 특이벡터가 희소하지 않고 랭크 $r \ll \min(m,n)$일 경우, 희소 성분 $X_S$에 최대 $\Omega(mn)$개의 비영 요소를 허용한다.
• 관측 행렬 $Y$의 작은 변형에 대해 복원이 강건하며, 오차 한계가 $\|E\|_{\text{vec}(\infty)}$ 및 $\|\mathcal{P}_{\bar{\Omega}} \circ \mathcal{P}_{\bar{T}^\perp}(E)\|_{\text{vec}(\infty)}$ 비례하여 스케일링된다.
• 결정론적 구조 조건 하에서 정확한 복원을 달성한다: $X_S$는 어느 행이나 열에서도 너무 농도가 높아서는 안 되며, $X_L$의 특이벡터는 너무 희소해서는 안 된다.
• 저질서 성분에 대한 $\|\cdot\|_{\flat(\rho)}$ 노름 오차 한계는 트레이스 노름보다 훨씬 날카롭게, 더 높은 안정성을 나타낸다.
• Chandrasekaran 등(2009)의 연구를 개선하여 $X_S$의 비영 요소 비율이 행렬 크기와 함께 0으로 수렴해야 한다는 조건을 제거한다.
• 실제 응용에서 이상치가 구조적으로 편향되어 있을 수 있는 상황에 적용 가능하도록 $X_S$에 대한 무작위 지원 가정이 필요하지 않다.