[논문 리뷰] Fast and Sample Efficient Inductive Matrix Completion via Multi-Phase Procrustes Flow

Xiao Zhang, Simon S. Du외 1명|arXiv (Cornell University)|2018. 03. 03.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 유도 행렬 완성에서 샘플 수가 기능 수 n에 선형이고 환경 차원 d에 로그적일 때 선형 수렴을 달성하는 새로운 기울기 기반 비볼록 최적화 알고리즘인 Multi-Phase Procrustes Flow를 제안한다. 이 알고리즘은 분산 감소 단계를 도입하여 이전 방법의 한계를 극복함으로써 현실적인 샘플링 조건 하에서 최적의 통계적 및 계산적 효율성으로 정확한 복원을 가능하게 한다.

ABSTRACT

We revisit the inductive matrix completion problem that aims to recover a rank-$r$ matrix with ambient dimension $d$ given $n$ features as the side prior information. The goal is to make use of the known $n$ features to reduce sample and computational complexities. We present and analyze a new gradient-based non-convex optimization algorithm that converges to the true underlying matrix at a linear rate with sample complexity only linearly depending on $n$ and logarithmically depending on $d$. To the best of our knowledge, all previous algorithms either have a quadratic dependency on the number of features in sample complexity or a sub-linear computational convergence rate. In addition, we provide experiments on both synthetic and real world data to demonstrate the effectiveness of our proposed algorithm.

연구 동기 및 목표

• 측면 정보를 활용한 유도 행렬 완성에서 기능 수 n에 대해 선형 수렴과 최적의 샘플 복잡도를 달성하는 데 도전한다.
• 이전의 비볼록 알고리즘에서 관찰된 기능 수 n에 대한 제곱근 의존성 문제를 해결한다.
• 기능 수 n에 대해 선형이고 환경 차원 d에 대해 로그적일 때 샘플 복잡도로 정확한 복원을 달성하는 방법을 개발한다.
• 낮은 샘플 수 환경에서 기울기 추정치의 분산을 효과적으로 제어하기 위한 분산 감소 메커니즘을 설계한다.
• 유도 설정에서 낮은 질서 행렬을 부분 관측으로부터 복원할 때 샘플 효율성과 계산 효율성을 동시에 확보한다.

제안 방법

• 기울기 기반의 다단계 알고리즘을 제안하며, Procrustes Flow에 추가로 분산 감소 단계를 통합한다.
• 스펙트럼 초기화를 사용하여 기저의 낮은 질서 행렬에 대한 거친 추정치를 확보한다.
• 새로운 볼록 QCQP 문제를 해결하는 새로운 투영 단계를 적용하여 기울기 분산을 제어한다.
• 각 반복 단계에서 새로운 샘플을 도입하여 낮은 데이터로도 낮은 기울기 분산을 유지한다.
• 최적점 근처에서 기울기 분산이 기대 기울기 크기보다 더 빠르게 감소함을 활용하여 후반 단계에서는 단순 기울기 하강법를 적용할 수 있다.
• 행렬 베르누이 부등식을 사용하여 기울기 추정치의 이탈을 바ounds하고 무작위 샘플링 하에서 농도 보장을 확보한다.

실험 결과

연구 질문

• RQ1 기능 수 n에 대해 선형 수렴과 선형 샘플 복잡도를 갖는 유도 행렬 완성은 가능할 수 있는가?
• RQ2 기존 알고리즘에서 관찰된 n에 대한 제곱근 의존성을 피하는 비볼록 최적화 접근법이 존재하는가?
• RQ3 제한된 샘플링 조건 하에서 기울기 추정치의 분산을 효과적으로 제어할 수 있는가?
• RQ4 환경 차원 d에 대해 로그적일 때 샘플 복잡도로 정확한 복원이 가능한가?
• RQ5 유도 설정에서 계산 효율성을 유지하면서도 선형 수렴 속도를 확보할 수 있는가?

주요 결과

• 제안된 알고리즘은 진짜 행렬로의 선형 수렴을 달성하며 샘플 복잡도가 O(rn log d)이다. 이는 로그 인자 외에는 최적이다.
• 샘플 복잡도는 기능 수 n에 대해 선형이고 환경 차원 d에 대해 로그적이다.
• 조건 |Ω| ≥ c max{µ₀²r²κ², µ₀µ₁rn} log d / γ² 하에서 알고리즘이 정확한 복원을 달성한다.
• 기울기 추정치의 분산이 기대 기울기 크기보다 더 빠르게 감소하여 후반 단계에서는 투영 없이도 수렴이 가능하다.
• 합성 및 실세계 데이터에 대한 실험 결과는 알고리즘의 효과성, 샘플 효율성, 빠른 수렴을 확인한다.
• 이론적 분석을 통해 기존 방법 대비 샘플 복잡도와 계산 복잡도 측면에서 더 뛰어난 성능을 보임을 입증한다.