[논문 리뷰] Scalable Robust Matrix Factorization with Nonconvex Loss

Quanming Yao, James T. Kwok|arXiv (Cornell University)|2017. 10. 19.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 외곽값에 대한 강건성을 향상시키기 위해 $β_1$ 또는 $β_2$ 손실 함수 대신 비볼록 손실 함수(예: 로그합 페널티, 제만, 라플라스)를 사용하는 확장 가능한 강건한 행렬 분해 알고리즘 RMFNL을 제안한다. 주요 최소화(MM) 프레임워크와 이중 도메인 가속화된 프락시멀 그래디언트 최적화를 활용하여 희소 데이터를 효율적으로 처리하고 임계점으로 수렴하며, 시뮬레이션 및 실세계 데이터셋에서 정확도와 속도 면에서 최신 기술을 능가한다.

ABSTRACT

Robust matrix factorization (RMF), which uses the $\ell_1$-loss, often outperforms standard matrix factorization using the $\ell_2$-loss, particularly when outliers are present. The state-of-the-art RMF solver is the RMF-MM algorithm, which, however, cannot utilize data sparsity. Moreover, sometimes even the (convex) $\ell_1$-loss is not robust enough. In this paper, we propose the use of nonconvex loss to enhance robustness. To address the resultant difficult optimization problem, we use majorization-minimization (MM) optimization and propose a new MM surrogate. To improve scalability, we exploit data sparsity and optimize the surrogate via its dual with the accelerated proximal gradient algorithm. The resultant algorithm has low time and space complexities and is guaranteed to converge to a critical point. Extensive experiments demonstrate its superiority over the state-of-the-art in terms of both accuracy and scalability.

연구 동기 및 목표

• 기존의 $β_1$ 또는 $β_2$ 손실 함수로는 달성할 수 없는 수준의 외곽값에 대한 강건성을 향상시키기 위해.
• 기존 강건한 행렬 분해 솔버의 확장성 한계, 특히 데이터 희소성을 활용하지 못하는 점을 해결하기 위해.
• 비볼록이고 비미분 가능한 행렬 분해 문제에 대해 이론적 수렴 보장을 제공하는 효율적인 최적화 프레임워크를 개발하기 위해.
• 추천 시스템 및 구조 복원 기반 운동(SfM)과 같은 대규모 희소 실세계 데이터셋에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 외곽값에 대한 강건성을 $β_1$ 손실보다 향상시키기 위해 비볼록 손실 함수(예: 로그합 페널티, 제만, 라플라스)를 제안하며, 이는 큰 잔차에서 평탄해지는 특성을 가진다.
• 비볼록 목표 함수를 위한 볼록 대체 함수를 구성하기 위해 주요 최소화(MM) 기법을 적용하여 내림내림 행동을 보장한다.
• MM 대체 함수를 이중 형태로 변환하여 가속화된 프락시멀 그래디언트(APG) 알고리즘을 통해 효율적인 최적화를 가능하게 한다.
• 관측된 요소들만을 대상으로 하여 APG 알고리즘을 설계함으로써 데이터의 희소성을 활용하여 시간 및 공간 복잡도를 감소시킨다.
• 클라크 부분도를 사용한 새로운 수렴 분석을 통해 비볼록성에도 불구하고 임계점으로의 수렴을 이론적으로 증명한다.
• MM 및 APG 프레임워크를 통합하여 확장 가능하고 강건한 행렬 분해를 위한 통합 알고리즘 RMFNL을 개발한다.

실험 결과

연구 질문

• RQ1 비볼록 손실 함수가 $β_1$-손실을 초월하여 행렬 분해의 외곽값에 대한 강건성을 향상시킬 수 있는가?
• RQ2 비볼록 행렬 분해에 적합한 확장 가능한 최적화 프레임워크를 설계할 수 있는가? 특히 데이터 희소성을 활용할 수 있는가?
• RQ3 이중 도메인 최적화를 통한 제안된 MM-APG 접근 방식이 기존 솔버보다 더 빠른 수렴 속도와 낮은 복잡도를 달성할 수 있는가?
• RQ4 비볼록이고 비미분 가능한 목표 함수 하에서 알고리즘이 임계점으로 수렴하는 것이 보장되는가?
• RQ5 실세계 희소 데이터셋에서 제안된 방법이 최신 기술 대비 정확도와 속도 면에서 어떻게 성능을 내는가?

주요 결과

• RMFNL은 MovieLens 데이터셋에서 가장 낮은 테스트 RMSE를 기록하여 RMF-MM 및 기타 기준 모델을 능가한다. MovieLens-1M에서는 0.884 ± 0.001, MovieLens-10M에서는 0.881 ± 0.003을 기록한다.
• Dinosaur SfM 데이터셋에서 RMFNL은 가장 낮은 MAE(0.316 ± 0.006, D3 기준)를 기록했으며, 가장 빠른 속도로 완료되어 가장 큰 서브셋에서 3.4 ± 1.0초 내로 처리를 마쳤다.
• RMFNL은 RMF-MM보다 훨씬 빠르며, 희소 SfM 데이터에서 런타임을 수백 초에서 10초 이내로 감소시켰고, 정확도 또한 향상시켰다.
• APG 단계에서 희소성을 효율적으로 활용함으로써 시간 및 공간 복잡도를 낮춰 대규모 문제에 대한 확장성을 확보했다.
• 클라크 부분도 분석을 통해 비볼록성에도 불구하고 임계점으로의 수렴이 이론적으로 보장되었으며, 이는 이전의 볼록 기반 MM 방법의 수렴 보장 수준을 초월한다.
• 실험 결과, 다양한 데이터셋에서 비볼록 손실 함수(LSP, 제만, 라플라스 등)가 $β_1$-손실보다 정확도와 강건성 면에서 일관되게 뛰어난 성능을 보였다.