[논문 리뷰] Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms

Mahesh Chandra Mukkamala, Peter Ochs|arXiv (Cornell University)|2019. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 행렬 분해를 위한 비정상적 최적화를 가능하게 하는 새로운 Bregman 거리 함수를 제안하며, 관성 있는 Bregman 프락시멀 경사수하법을 통해 전역 수렴을 보장하면서도 전통적인 교차 최적화 방법보다 빠른 수렴 속도와 더 나은 목적 함수 값을 달성한다.

ABSTRACT

Matrix Factorization is a popular non-convex optimization problem, for which alternating minimization schemes are mostly used. They usually suffer from the major drawback that the solution is biased towards one of the optimization variables. A remedy is non-alternating schemes. However, due to a lack of Lipschitz continuity of the gradient in matrix factorization problems, convergence cannot be guaranteed. A recently developed approach relies on the concept of Bregman distances, which generalizes the standard Euclidean distance. We exploit this theory by proposing a novel Bregman distance for matrix factorization problems, which, at the same time, allows for simple/closed form update steps. Therefore, for non-alternating schemes, such as the recently introduced Bregman Proximal Gradient (BPG) method and an inertial variant Convex--Concave Inertial BPG (CoCaIn BPG), convergence of the whole sequence to a stationary point is proved for Matrix Factorization. In several experiments, we observe a superior performance of our non-alternating schemes in terms of speed and objective value at the limit point.

연구 동기 및 목표

• 행렬 분해에서의 교차 최소화 방법의 편향 문제를 해결하기 위해, 한 변수를 다른 변수보다 우선시하는 경향을 줄이기 위해.
• 기존의 비교교차 최적화 방법의 수렴을 방해하는 행렬 분해에서의 그래디언트 리프시츠 연속성 부족 문제를 해결하기 위해.
• 닫힌 형태의 업데이트 단계를 지원하면서도 비교교차 최적화에 대한 수렴 보장을 가능하게 하는 Bregman 거리 함수를 개발하기 위해.
• Bregman 프락시멀 경사수하법(BPG) 및 관성 있는 CoCaIn BPG 방법을 행렬 분해에 확장하여 이론적 수렴 보장을 달성하기 위해.
• 실증적으로 교차 최소화 방법에 비해 수렴 속도와 목적 함수 값 성능이 향상됨을 입증하기 위해.

제안 방법

• 행렬 분해 문제에 특화된 새로운 Bregman 거리 함수를 제안하여 기존의 유클리드 거리 함수를 대체한다.
• 비교교차 최적화를 위한 Bregman 프락시멀 경사수하법(BPG) 및 그 관성 버전인 CoCaIn BPG를 적용한다.
• 닫힌 형태의 업데이트 단계를 보장하기 위해 Bregman 거리 함수를 설계하여 반복적 해법이 필요 없이 효율적인 계산을 가능하게 한다.
• 제안된 프레임워크 하에서 전체 수열이 정적점으로 수렴하는 것을 이론적으로 확립한다.
• 일반화된 Bregman 거리 함수를 활용하여 보통 위반되는 그래디언트 리프시츠 연속성의 필요성을 회피한다.
• CoCaIn BPG 변형에서 관성 항을 활용하여 수렴 속도를 가속하면서도 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 비교교차 최적화를 가능하게 하고 닫힌 형태의 업데이트 단계를 지원하는 새로운 Bregman 거리 함수를 행렬 분해 문제에 대해 설계할 수 있는가?
• RQ2 관성 항을 포함한 제안된 비교교차 BPG 방법이 행렬 분해에서 전역 수렴을 정적점으로 보장하는가?
• RQ3 제안된 방법의 수렴 속도와 최종 목적 함수 값 성능은 교차 최소화 방법에 비해 어떻게 비교되는가?
• RQ4 제안된 Bregman 거리 함수는 행렬 분해 문제에서의 그래디언트 리프시츠 연속성 부족 문제를 극복할 수 있는가?
• RQ5 관성 항은 행렬 분해에서 수렴 행동과 해의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 Bregman 거리 함수는 비교교차 행렬 분해에서 닫힌 형태의 업데이트 단계를 가능하게 하여 구현을 단순화하고 효율성을 향상시킨다.
• 제안된 프레임워크 하에서 BPG 및 CoCaIn BPG 모두 전체 수열이 정적점으로 수렴하는 것이 이론적으로 보장된다.
• 비교교차 방법은 표준 교차 최소화 방법에 비해 더 빠른 수렴 속도를 달성한다.
• 다양한 실험에서 수렴 시 최종 목적 함수 값이 항상 교차 방법보다 우수하다.
• 관성 변형인 CoCaIn BPG는 수렴 속도를 가속하면서도 수렴 보장을 유지한다.
• 특화된 Bregman 거리 함수를 활용하여 행렬 분해에서 흔히 발생하는 비리프시츠 연속성 그래디언트 문제를 효과적으로 다룬다.