[논문 리뷰] Alternating minimization algorithms for graph regularized tensor completion

Yu Guan, Shuyu Dong외 3명|arXiv (Cornell University)|2020. 08. 28.

Tensor decomposition and applications참고 문헌 44인용 수 4

한 줄 요약

이 논문은 CP 분해를 사용한 그래프 정규화 텐서 복원을 위한 교대 최소화 및 ADMM 알고리즘을 제안한다. 그래프 라플라시안 정규화를 활용하여 저질서 텐서 복원 성능을 향상시킨다. 제안된 방법들은 특히 낮은 샘플링 비율에서 뛰어난 정확도와 효율성을 달성하며, Kurdyka-Łojasiewicz 성질을 통해 전역 수렴성이 증명된다.

ABSTRACT

We consider a Canonical Polyadic (CP) decomposition approach to low-rank tensor completion (LRTC) by incorporating external pairwise similarity relations through graph Laplacian regularization on the CP factor matrices. The usage of graph regularization entails benefits in the learning accuracy of LRTC, but at the same time, induces coupling graph Laplacian terms that hinder the optimization of the tensor completion model. In order to solve graph-regularized LRTC, we propose efficient alternating minimization algorithms by leveraging the block structure of the underlying CP decomposition-based model. For the subproblems of alternating minimization, a linear conjugate gradient subroutine is specifically adapted to graph-regularized LRTC. Alternatively, we circumvent the complicating coupling effects of graph Laplacian terms by using an alternating directions method of multipliers. Based on the Kurdyka-Łojasiewicz property, we show that the sequence generated by the proposed algorithms globally converges to a critical point of the objective function. Moreover, the complexity and convergence rate are also derived. In addition, numerical experiments including synthetic data and real data show that the graph regularized tensor completion model has improved recovery results compared to those without graph regularization, and that the proposed algorithms achieve gains in time efficiency over existing algorithms.

연구 동기 및 목표

• 부분 관측 하에서 외부 유사성 정보를 그래프 정규화를 통해 통합하여 저질서 텐서 복원 문제를 해결한다.
• CP 분해에서 발생하는 블록 구조를 활용하여 그래프 라플라시안 항의 결합 효과로 인한 최적화의 계산적 과제를 해결한다.
• 그래프 정규화 텐서 복원을 효과적으로 다룰 수 있는 효율적인 알고리즘—선형 코그래디언트(CG)를 사용한 교대 최소화 및 ADMM 알고리즘—을 개발한다.
• Kurdyka-Łojasiewicz 성질을 사용하여 교대 최소화 수열의 전역 수렴성을 확립하고 수렴 속도를 유도한다.
• 합성 및 실세계 데이터셋에서 제안된 모델과 알고리즘의 실험적 검증을 수행하여 복원 성능 향상을 입증한다.

제안 방법

• 요소 행렬에 그래프 라플라시안 정규화를 적용한 CP 기반 텐서 복원 모델을 수립하여 쌍별 유사성 관계를 활용한다.
• 각 하위문제를 효율적인 헤시안-벡터 곱을 사용한 선형 코그래디언트(CG) 방법으로 푸는 교대 최소화 알고리즘을 개발한다.
• 그래프 정규화 효과를 분리하고 최적화 안정성을 향상시키기 위해 ADMM 기반의 대안을 도입한다.
• 교대 최소화 수열이 임계점으로의 전역 수렴성을 Kurdyka-Łojasiewicz 성질을 사용하여 증명한다.
• CP 분해에서 발생하는 블록 구조 하위문제에 맞게 선형 CG 서브루틴을 적응시킨다.
• 텐서 모드에 기반한 유사성 그래프에서 유도된 그래프 라플라시안 행렬을 사용하여 요소 행렬을 정규화한다.

실험 결과

연구 질문

• RQ1 관측된 요소의 비율이 매우 낮을 때, 그래프 정규화가 텐서 복원 정확도를 향상시킬 수 있는가?
• RQ2 텐서 복원을 위한 교대 최소화에서 그래프 라플라시안 항의 결합 효과를 효과적으로 완화할 수 있는가?
• RQ3 그래프 정규화 CP 텐서 복원 문제를 해결하는 데 가장 효과적인 최적화 알고리즘은 무엇이며, 수렴성과 효율성 측면에서 어떻게 비교되는가?
• RQ4 제안된 방법은 전역 수렴성을 달성하는가? 이론적 수렴 속도는 무엇인가?
• RQ5 제안된 알고리즘의 성능은 최신 기술 대비 복원 정확도와 시간 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 그래프 정규화 텐서 복원 모델은 비정규화 모델 대비 복원 정확도를 크게 향상시키며, 특히 낮은 샘플링 비율(예: 0.3% 및 0.5%)에서 두드러진다.
• 제안된 AltMin-CG 및 ADMM 알고리즘은 합성 및 실세계 데이터셋에서 테스트 RMSE를 가장 낮게 기록하며, AirCP, TFAI, BPTF와 같은 최신 기술을 능가한다.
• AltMin-CG 및 ADMM는 훈련 오차 감소 속도 측면에서 가장 빠른 알고리즘 중 하나로 뛰어난 시간 효율성을 보인다.
• MovieLens 및 FIA 데이터셋에서 알고리즘은 높은 안정성을 유지하며 희소 관측 조건에서도 낮은 RMSE를 유지한다.
• 수치 실험을 통해 교대 최소화 알고리즘의 전역 수렴성이 확인되었으며, Kurdyka-Łojasiewicz 성질을 기반으로 한 이론적 분석에 의해 뒷받침된다.
• 효율적인 헤시안-벡터 곱을 사용한 선형 CG 서브루틴은 하위문제의 빠른 해를 가능하게 하여 전체 알고리즘의 효율성을 향상시킨다.