[논문 리뷰] Riemannian Perspective on Matrix Factorization

Kwangjun Ahn, Felipe Suárez|arXiv (Cornell University)|2021. 02. 01.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 행렬 완성에서 행렬 분해를 위한 리만 기하학적 프레임워크를 제안하며, 그라스만다이안 다양체와 주각을 통해 최적화 지형을 분석한다. 비용 함수가 진짜 부분공간 주변의 특정 영역 내에서 지측적 볼록성을 띠며, 이 영역 외부의 모든 임계점이 стрict한 안장점임을 입증함으로써 리만 최적화 방법의 수렴성에 대한 이론적 기반을 제공한다.

ABSTRACT

We study the non-convex matrix factorization approach to matrix completion via Riemannian geometry. Based on an optimization formulation over a Grassmannian manifold, we characterize the landscape based on the notion of principal angles between subspaces. For the fully observed case, our results show that there is a region in which the cost is geodesically convex, and outside of which all critical points are strictly saddle. We empirically study the partially observed case based on our findings.

연구 동기 및 목표

• 행렬 완성에서 행렬 분해의 비볼록 최적화 지형을 리만 기하학을 통해 이해하기 위해.
• 주부분공간 간의 주각을 사용하여 그라스만 다양체 상의 비용 함수 기하학적 구조를 특성화하기 위해.
• 비용 함수가 지측적 볼록성이 되는 영역을 특정하고, 이 영역 외부의 모든 임계점이 стрict한 안장점임을 규명하기 위해.
• 완전 관측 케이스에서의 통찰을 부분 관측 케이스로 확장하기 위해 경험적 검증을 수행하기 위해.
• 리만 최적화가 행렬 완성에서 효과적인 데 대한 이론적 근거를 제공하기 위해.

제안 방법

• 낮은 질량 행렬을 그들의 열 부분공간으로 매개변수화함으로써, 단일 그라스만 다양체 상에서의 최적화로 행렬 분해를 공식화한다.
• 주부분공간 간의 주각을 사용하여 비용 함수 지형의 기하학적 구조를 특성화한다.
• 진짜 부분공간 주변의 이웃 영역 $\mathcal{N}_{[\mathbf{U}]}(\pi/4)$ 를 정의하여, 여기서 비용 함수가 지측적 볼록성을 띤다.
• 지측적 볼록성과 두 번째 도함수 분석을 포함한 리만 최적화 도구를 활용하여 임계점 분석을 수행한다.
• 관측 확률 $p$ 를 변화시켜 부분 관측 케이스를 완전 관측 케이스와 비교함으로써 지형 유사성을 관찰한다.
• 수치 실험을 통해 부분 관측 케이스에서 관측 확률 $p$ 가 적당히 크면(예: $p \geq 0.01$) 완전 관측 케이스와 유사한 지형을 보임을 검증한다.

실험 결과

연구 질문

• RQ1 어떤 기하학적 조건에서 행렬 분해 비용 함수가 그라스만 다양체 상에서 지측적 볼록성이 되는가?
• RQ2 주부분공간 간의 주각을 사용하여 행렬 분해의 지형을 특성화할 수 있는가?
• RQ3 이 볼록 영역 외부의 모든 임계점이 Strick한 안장점인가?
• RQ4 부분 관측 케이스의 최적화 지형은 완전 관측 케이스와 어떻게 비교되는가?
• RQ5 완전 관측 케이스에서의 이론적 통찰은 부분 관측 설정으로 확장될 수 있는가?

주요 결과

• 비용 함수는 주각을 통해 정의된 진짜 부분공간 주변의 이웃 영역 $\mathcal{N}_{[\mathbf{U}]}(\pi/4)$ 내에서 지측적 볼록성을 띤다.
• 이 영역 외부의 모든 임계점은 도출된 음의 두 번째 도함수에 의해 Strick한 안장점으로 확인된다.
• 경험적 결과에 따르면, 관측 확률 $p$ 가 너무 작지 않으면(예: $p \geq 0.01$) 부분 관측 케이스의 지형이 완전 관측 케이스와 유사하게 나타난다.
• 표준 공식화 하에 부분 관측 케이스에서는 비용 함수가 불연속이 될 수 있으며, $\mathbf{x} = [1, 0, 0]^\top$ 에서 불연속성이 발생하는 반례로 이를 입증하였다.
• 현수 거리 또는 정규화를 사용하는 대체 공식화는 연속성을 회복하고 수치 안정성을 향상시킬 수 있다.
• 리만 경사하강법 경로는 볼록 영역 내에서 안정적으로 수렴함을 보여, 유리한 최적화 행동을 나타낸다.