[논문 리뷰] Learning Latent Features with Pairwise Penalties in Matrix Completion.

Kaiyi Ji, Jian Tan외 2명|arXiv (Cornell University)|2018. 02. 16.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 잠재 특징 학습을 향상시키기 위해 비볼록 쌍별 페널티를 사용하는 행렬 완성에 대한 일반적인 최적화 프레임워크를 제안한다. 기존의 L2 기반 그래프 정규화의 한계를 극복하며, 예측 정확도가 향상되고 이론적 수렴성과 통계적 오차 경계를 제공한다. 합성 및 실세계 실험 모두에서 표준 트레이스 노름 정규화보다 뛰어난 성능을 보인다.

ABSTRACT

Low-rank matrix completion (MC) has achieved great success in many real-world data applications. A latent feature model formulation is usually employed and, to improve prediction performance, the similarities between latent variables can be exploited by pairwise learning, e.g., the graph regularized matrix factorization (GRMF) method. However, existing GRMF approaches often use a squared L2 norm to measure the pairwise difference, which may be overly influenced by dissimilar pairs and lead to inferior prediction. To fully empower pairwise learning for matrix completion, we propose a general optimization framework that allows a rich class of (non-)convex pairwise penalty functions. A new and efficient algorithm is further developed to uniformly solve the optimization problem, with a theoretical convergence guarantee. In an important situation where the latent variables form a small number of subgroups, its statistical guarantee is also fully characterized. In particular, we theoretically characterize the complexity-regularized maximum likelihood estimator, as a special case of our framework. It has a better error bound when compared to the standard trace-norm regularized matrix completion. We conduct extensive experiments on both synthetic and real datasets to demonstrate the superior performance of this general framework.

연구 동기 및 목표

• 기존의 그래프 정규화 행렬 분해(GRMF) 방법이 제곱 L2 노름에 의존하여 비유사 쌍에 민감하고 성능이 떨어지는 문제를 해결하기 위해.
• 더 강력한 잠재 특징 학습을 위한 다양한 (비)볼록 쌍별 페널티 함수를 지원하는 일반적인 최적화 프레임워크를 개발하기 위해.
• 이론적으로 탄탄하고 효율적인 알고리즘을 제안하여 제안된 최적화 문제를 해결하고 수렴 보장을 제공하기 위해.
• 잠재 변수가 소수의 하위군을 이룰 경우에 프레임워크의 통계적 오차 경계를 확립하기 위해.
• 표준 트레이스 노름 정규화 행렬 완성과 비교하여 합성 및 실세계 데이터셋에서 뛰어난 경험적 성능을 입증하기 위해.

제안 방법

• 표준 L2 쌍별 페널티를 비볼록 쌍별 페널티 함수의 유연한 클래스로 대체하여 잠재 변수 유사도를 더 잘 모델링하는 일반적인 최적화 프레임워크를 제안한다.
• 비볼록 최적화 문제를 해결하기 위한 ADMM(대체 방향 승수 방법) 기반의 효율적인 알고리즘을 개발하였으며, 이론적 수렴 보장을 확보하였다.
• 복잡도 정규화 최대우도 추정기(complexity-regularized maximum likelihood estimator)를 프레임워크의 특수한 경우로 통합하여 통계적 오차 분석을 가능하게 하였다.
• 잠재 특징이 소수의 하위군을 이룬다고 모델링하여 추정기 성능의 보다 정교한 이론적 특성화를 가능하게 하였다.
• 다양한 쌍별 페널티(비볼록 포함)를 처리할 수 있는 통합 알고리즘 접근법을 사용하여 문제에 특화된 유도 과정이 필요 없도록 하였다.
• ADMM 프레임워크 내에서 효율적인 계산을 가능하게 하기 위해 슈어 여부법(Schur complement-based reformulation)을 활용하였다.

실험 결과

연구 질문

• RQ1 탄력적인 쌍별 페널티를 갖는 일반 프레임워크가 표준 L2 기반 정규화를 초월하여 행렬 완성 성능을 향상시킬 수 있는가?
• RQ2 예측 오차 측면에서 제안된 방법이 트레이스 노름 정규화 행렬 완성과 비교해 어떻게 성능을 내는가?
• RQ3 비볼록 쌍별 페널티 하에서 제안된 알고리즘의 이론적 수렴 행동은 어떠한가?
• RQ4 잠재 특징이 소수의 하위군을 이룰 경우, 프레임워크가 더 날카운 통계적 오차 경계를 제공하는가?
• RQ5 잠재 변수의 하위군 구조를 효과적으로 활용하여 예측 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 프레임워크는 합성 및 실세계 데이터셋 모두에서 표준 트레이스 노름 정규화 행렬 완성보다 뛰어난 예측 성능을 달성한다.
• 잠재 변수가 소수의 하위군을 이룰 경우, 표준 트레이스 노름 정규화보다 더 낮은 통계적 오차 경계를 제공한다.
• 비볼록 쌍별 페널티 하에서도 이론적 수렴 보장에 따라 정류점(stationary point)으로 수렴하는 것으로 확인되었다.
• 특수한 경우인 복잡도 정규화 최대우도 추정기는 표준 트레이스 노름 정규화보다 향상된 오차 경계를 달성한다.
• 경험적 결과는 쌍별 유사도가 잘 정렬된 경우에 여러 실세계 데이터셋에서 일관된 예측 정확도 향상을 보였다.
• 비볼록 쌍별 페널티의 사용은 비유사 쌍의 영향을 감소시켜 더 강력한 잠재 특징 추정을 가능하게 하였다.