[논문 리뷰] Subspace Tracking from Missing and Outlier Corrupted Data.

Praneeth Narayanamurthy, Vahid Daneshpajooh외 1명|arXiv (Cornell University)|2018. 10. 06.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 2

한 줄 요약

이 논문은 결측치와 이상치에 오염된 데이터로부터 부분공간 추적을 위한 증명 가능하고 메모리 효율적인 알고리즘을 제안한다. 기존의 강건한 부분공간 추적 방법을 단순한 수정을 통해 확장하며, 결측 데이터 하에서 부분공간 추적에 대해 처음으로 완전한 이론적 보장을 제공한다. 이로 인해 부분공간이 시간에 따라 조각별로 변화하더라도 정확한 부분공간 추정이 가능하다.

ABSTRACT

We study the problem of subspace tracking in the presence of missing data (ST-miss). In recent work, we studied a related problem called robust ST. In this work, we show that a simple modification of our robust ST solution also provably solves ST-miss and robust ST-miss. To our knowledge, our result is the first `complete' guarantee for ST-miss. This means that we can prove that under assumptions on only the algorithm inputs, the output subspace estimates are close to the true data subspaces at all times. Our guarantees hold under mild and easily interpretable assumptions, and allow the underlying subspace to change with time in a piecewise constant fashion. In contrast, all existing guarantees for ST are partial results and assume a fixed unknown subspace. Extensive numerical experiments are shown to back up our theoretical claims. Finally, our solution can be interpreted as a provably correct mini-batch and memory-efficient solution to low-rank Matrix Completion (MC).

연구 동기 및 목표

• 결측치와 이상치가 존재하는 상황에서 부분공간 추적 문제에 도전하며, 이는 종래에 종합적인 이론적 보장이 부족한 문제이다.
• 기존의 강건한 부분공간 추적 솔루션을 단순한 알고리즘 수정을 통해 결측 데이터를 처리할 수 있도록 확장한다.
• 유의미하고 해석 가능한 가정 하에 유효한 완전한 이론적 보장—모든 시점에서 부분공간 추정치가 참 부분공간에 가까워지도록 보장한다.
• 조각별로 일정하게 변화하는 시간에 따라 변하는 부분공간을 추적할 수 있도록 하여, 이전 연구에서의 고정된 부분공간 가정의 한계를 극복한다.
• 대규모 및 스트리밍 데이터 응용에 적합한 미니배치 및 메모리 효율적인 솔루션을 개발한다.

제안 방법

• 기존에 개발된 강건한 부분공간 추적 알고리즘을 간단한 업데이트 규칙 수정을 통해 결측 데이터를 처리할 수 있도록 적응시킨다.
• 저랭크 행렬 완성 프레임워크를 기반 메커니즘으로 사용하여 알고리즘이 메모리 효율적이며 스트리밍 데이터에 적합하도록 보장한다.
• 결측 항목과 이상치를 동시에 처리하기 위해 강건한 최적화 프레임워크를 통합하며, 강건한 비용 함수를 최소화한다.
• 증분 처리를 가능하게 하고 계산 오버헤드를 줄이기 위해 미니배치 업데이트 전략을 적용한다.
• 결측의 정도가 제한되어 있고 부분공간 변화가 조각별 일정하다는 등의 데이터 입력 구조에 대한 가정을 활용하여 이론적 수렴 보장을 유도한다.
• 유의미한 조건 하에 모든 시간 단계에서 추정된 부분공간이 참 부분공간에 가까워지도록 보장하기 위해 이론적 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 강건한 부분공간 추적 알고리즘을 결측 데이터를 처리할 수 있도록 적응시킬 수 있으며, 증명 가능한 이론적 보장이 존재하는가?
• RQ2 결측 데이터 존재 하에서 시간에 따라 정확하고 안정적인 부분공간 추정을 확보하기 위해 필요한 데이터 입력에 대한 가정은 무엇인가?
• RQ3 알고리즘이 조각별 일정한 방식으로 변화하는 시간에 따라 변하는 부분공간을 처리하면서도 이론적으로 정확한가?
• RQ4 기존의 접근 방식과 비교했을 때, 제안된 방법은 이론적 완전성과 실용적 효율성 측면에서 어떻게 다른가?
• RQ5 해결책이 저랭크 행렬 완성에 대해 미니배치 및 메모리 효율적인 솔루션으로 해석될 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 결측 데이터로부터 부분공간 추적에 대해 처음으로 완전한 이론적 보장을 제공하며, 모든 시점에서 추정된 부분공간이 참 부분공간에 가까워지도록 보장한다.
• 낮은 조건과 해석 가능한 가정 하에, 기저 부분공간이 시간에 따라 조각별 일정하게 변화하더라도 알고리즘이 정확성을 유지한다.
• 증명 가능하고 메모리 효율적인 솔루션으로서, 대규모 및 스트리밍 데이터 응용에 적합하다.
• 기존의 강건한 부분공간 추적 프레임워크에 단순한 수정을 가함으로써, 결측 데이터와 이상치에 모두 강건한 성능을 달성한다.
• 광범위한 수치 실험을 통해 이론적 주장이 검증되었으며, 다양한 데이터 오염 상황에서 일관된 성능을 보였다.
• 이 방법은 부분공간 추적을 넘어서 저랭크 행렬 완성 문제에 대한 미니배치 및 메모리 효율적인 솔루션으로 해석될 수 있다.