[논문 리뷰] Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion

Dimitris Bertsimas, Michael Lingzhi Li|arXiv (Cornell University)|2019. 10. 20.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 측면 정보가 있는지 여부에 관계없이 빠르고 정확한 저질서 행렬 완성에 적합한 비볼록 최적화 프레임워크인 fastImpute를 제안한다. 하나의 요소가 다른 요소에 대한 함수로 표현되는 방식으로 행렬 완성을 분리 가능한 최적화 문제로 재구성함으로써, 단일 변수에 대한 효율적인 프로젝션 기반 경사 하강법을 가능하게 하여 정규화 없이도 전역 수렴을 달성한다. 이 방법은 기존 최첨단 기법 대비 최대 75% 낮은 MAPE와 15배 빠른 속도를 기록하며, 특히 높은 누락 데이터 비율 환경에서 뛰어난 성능을 보이며, 10^6 × 10^6 크기의 행렬까지 스케일링 가능하다.

ABSTRACT

We formulate the problem of matrix completion with and without side information as a non-convex optimization problem. We design fastImpute based on non-convex gradient descent and show it converges to a global minimum that is guaranteed to recover closely the underlying matrix while it scales to matrices of sizes beyond $10^5 \ imes 10^5$. We report experiments on both synthetic and real-world datasets that show fastImpute is competitive in both the accuracy of the matrix recovered and the time needed across all cases. Furthermore, when a high number of entries are missing, fastImpute is over $75\\%$ lower in MAPE and $15$ times faster than current state-of-the-art matrix completion methods in both the case with side information and without.

연구 동기 및 목표

• 측면 정보가 있는지 여부에 관계없이 통합적이고 확장 가능하며 정확한 저질서 행렬 완성 최적화 프레임워크를 개발하는 것.
• 기존 볼록 근사 및 인수 분해 기반 방법의 속도 및 확장성 한계를 극복하면서도 정확한 복원 보장을 유지하는 것.
• 특별한 정규화 항을 요구하지 않고도 전역 수렴을 달성하는 비볼록 최적화 접근법을 설계하는 것.
• 특히 높은 비율의 항목이 누락된 경우에 정확도(MAPE)와 런타임 측면에서 최첨단 기법보다 뛰어난 성능을 달성하는 것.

제안 방법

• 행렬 완성을 분리 가능한 최적화 문제로 재구성하기 위해 하나의 요소(U)를 다른 요소(V)의 함수 g(V)로 표현함으로써, 문제를 단일 변수 V에 대한 최적화로 축소한다.
• 고정 노름 조건 ||V||₂ = 1을 유지하기 위해 V에 대해 비볼록 프로젝션 기반 경사 하강법을 적용함으로써 척도 불변성과 안정성을 확보한다.
• 행렬 미적분을 활용하여 V에 대한 비용 함수와 기울기의 닫힌 형태 표현식을 유도함으로써 효율적인 계산을 가능하게 한다.
• 고정 노름 초구면 조건을 유지하기 위한 투영 단계를 도입함으로써 수렴성과 비퇴화 해를 방지한다.
• 요소 분해를 특성의 임의의 선형 조합으로 허용함으로써 측면 정보를 통합함으로써 모델링의 유연성과 능력을 향상시킨다.
• 동일한 최적화 구조 내에서 측면 정보가 있는지 여부에 관계없이 저질서 행렬 완성을 모두 처리할 수 있는 통합 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 특정 정규화 항이 필요 없이도 비볼록 최적화 프레임워크가 정확한 행렬 복원을 달성할 수 있는가?
• RQ2 다양한 행렬 크기와 누락 데이터 비율에서 fastImpute의 정확도(MAPE)와 런타임 측면에서 최첨단 기법과의 성능 비교는 어떻게 되는가?
• RQ3 제안된 방법이 10^5 × 10^5를 초월하는 행렬에 대해 높은 정확도와 빠른 수렴을 유지하면서도 스케일링 가능한가?
• RQ4 유도된 인수 분해 g(V)를 갖는 통합 프레임워크가 U와 V에 대한 동시 최적화를 수행하는 표준 Burer-Monteiro 인수 분해를 능가하는가?
• RQ5 특히 실세계 데이터셋인 Netflix와 같은 경우에서 높은 누락 데이터 비율 환경에서 이 방법의 성능은 어떠한가?

주요 결과

• 높은 비율의 항목이 누락된 경우, 측면 정보가 있는지 여부에 관계없이 fastImpute는 최첨단 기법 대비 MAPE를 75% 이상 감소시킨다.
• 이 방법은 현재 최첨단 기법 대비 최대 15배 빠른 속도를 기록하며, 특히 높은 누락 데이터 비율 환경에서 뛰어난 성능을 보이며, 소형 행렬의 경우 런타임이 비선형적으로 스케일링되고 대형 행렬의 경우 O(nm)으로 스케일링된다.
• 합성 데이터에서 fastImpute는 MAPE가 가장 낮으며(10^6 × 10^3에서 2.1%), 104초 내에 완료되며, SIALS는 6270초가 소요되고 SISVD는 20시간 이내에 완료되지 못한다.
• Netflix 데이터셋에서 fastImpute는 MAPE가 13.8%로 SIALS의 20.1%보다 낮으며, 스케일(471,268 × 14,538)에서 런타임이 2098초로 SIALS의 38,256초보다 빠르다.
• 이론적 복잡도 O(k³)에 비해 실질적으로 O(k)로 스케일링되는 것은, k² 및 k³ 항의 상수 계수가 작기 때문일 것으로 추정된다.
• 측면 정보를 완전한 특성의 선형 조합으로 허용함으로써 이 프레임워크는 기존에 이산적 특성 선택에 제한된 방법보다 더 강력한 복원 성능을 달성한다.