[논문 리뷰] Noise-Tolerant Life-Long Matrix Completion via Adaptive Sampling

Maria-Florina Balcan, Hongyang Zhang|arXiv (Cornell University)|2016. 12. 01.

Sparse and Compressive Sensing Techniques인용 수 14

한 줄 요약

이 논문은 유한한 결정론적 및 희박한 랜덤 노이즈 모델 하에서 노이즈에 강건한 수명 주기 행렬 완성에 대한 적응형 샘플링 알고리즘을 제안하며, 노이즈가 없는 경우에 가까운 샘플 복잡도를 달성한다. 유한한 노이즈 하에서 낮은 오차 복원에 대한 증명 가능 보장을 제공하고, 희박한 랜덤 노이즈 하에서 정확한 복원을 높은 확률로 보장하며, 알려진 하한선과 일치하며, 더 낮은 샘플 효율성으로 혼합 부분공간 설정으로 확장된다.

ABSTRACT

We study the problem of recovering an incomplete $m imes n$ matrix of rank $r$ with columns arriving online over time. This is known as the problem of life-long matrix completion, and is widely applied to recommendation system, computer vision, system identification, etc. The challenge is to design provable algorithms tolerant to a large amount of noises, with small sample complexity. In this work, we give algorithms achieving strong guarantee under two realistic noise models. In bounded deterministic noise, an adversary can add any bounded yet unstructured noise to each column. For this problem, we present an algorithm that returns a matrix of a small error, with sample complexity almost as small as the best prior results in the noiseless case. For sparse random noise, where the corrupted columns are sparse and drawn randomly, we give an algorithm that exactly recovers an $μ_0$-incoherent matrix by probability at least $1-δ$ with sample complexity as small as $O\left(μ_0rn\log (r/δ) ight)$. This result advances the state-of-the-art work and matches the lower bound in a worst case. We also study the scenario where the hidden matrix lies on a mixture of subspaces and show that the sample complexity can be even smaller. Our proposed algorithms perform well experimentally in both synthetic and real-world datasets.

연구 동기 및 목표

• 실제 노이즈 모델, 특히 유한한 결정론적 및 희박한 랜덤 노이즈 하에서 수명 주기 행렬 완성에 대해 증명 가능하게 강건한 알고리즘을 설계하는 것.
• 노이즈가 존재하는 상황에서 낮은 랭크 행렬의 정확한 복원을 보장하면서 샘플 복잡도를 최소화하는 것.
• 기저 행렬이 부분공간의 혼합에 속해 있는 설정으로 이론적 보장을 확장하여 더 낮은 샘플 복잡도를 달성하는 것.
• 합성 및 실세계 데이터셋(예: Hopkins 155 운동 분할 데이터셋 포함)에서 제안된 알고리즘을 실증적으로 검증하는 것.

제안 방법

• 노이즈 하에서 정확도를 향상시키기 위해 정보가 풍부한 컬럼을 순차적으로 선택하기 위해 적응형 샘플링을 사용한다.
• 유한한 결정론적 노이즈의 경우, 투영 기반 업데이트와 오차 제어를 통해 컬럼 공간의 강건한 추정을 유지한다.
• 희박한 랜덤 노이즈의 경우, 손상된 컬럼의 희박성을 활용하고, 적응형 샘플링을 통한 핵노름 최소화를 통해 정확한 복원을 보장한다.
• 이론적 분석을 통해 오차를 노이즈 수준과 비일관성의 함수로 경계하며, 노이즈가 없는 경우에 가까운 샘플 복잡도를 보여준다.
• 노이즈 있는 관측치에도 불구하고 진짜 컬럼 공간을 추적하기 위해 새로운 부분공간 추정 기법을 사용하며, 수렴 보장을 제공한다.
• 데이터가 다수의 낮은 차원 부분공간에 존재한다고 모델링하여 혼합 부분공간으로 알고리즘을 확장함으로써 샘플 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 적응형 샘플링은 유한한 결정론적 노이즈 하에서 생명 주기 행렬 완성에 대해 거의 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 제안된 방법은 희박한 랜덤 노이즈 하에서 높은 확률로 기저 행렬을 정확히 복원할 수 있는가?
• RQ3 기저 행렬이 단일 부분공간이 아닌 혼합 부분공간에 속해 있을 경우 샘플 복잡도는 어떻게 변화하는가?
• RQ4 합성 및 실세계 설정에서 수동 샘플링과 이전 방법보다 알고리즘이 더 우수한 성능을 보일 수 있는가?
• RQ5 희박한 랜덤 노이즈 하에서 정확한 복원을 위한 이론적 샘플 복잡도 하한선은 무엇이며, 제안된 방법이 이를 충족하는가?

주요 결과

• 유한한 결정론적 노이즈 하에서, 노이즈 수준이 작을 경우 샘플 복잡도가 알려진 최상의 노이즈 없는 결과에 거의 근접하는 작은 출력 오차를 달성한다.
• 희박한 랜덤 노이즈 하에서, μ₀-비일관성 행렬을 확률 1−δ 이상으로 정확히 복원하며 샘플 복잡도 O(μ₀rn log(r/δ))를 사용한다. 이는 worst-case에서 정보 이론적 하한선과 일치한다.
• 단계 전이 실험을 통해 제안된 알고리즘의 성공 영역은 수동 샘플링 및 이전 방법보다 엄밀히 더 넓음을 입증하였다.
• 혼합 부분공간 설정에서는 단일 부분공간 설정보다 정확한 복원을 위한 필수 샘플 복잡도가 상당히 낮아진다.
• 합성 및 실세계 데이터셋(예: Hopkins 155 포함)에서의 실증 결과는 중간 수준의 샘플링 비율에서도 상대 오차가 10⁻³ 이하로 매우 높은 정확도를 보였다.
• 희박한 랜덤 노이즈 하에서 알고리즘의 단계 전이가 r과 d에 대해 거의 선형이며, 이는 이론적 예측 d = Ω(μ₀r log(r/δ))와 일치한다(δ가 작을 경우).