[논문 리뷰] A Unified Convex Surrogate for the Schatten- p Norm

Chen Xu, Zhouchen Lin외 1명|arXiv (Cornell University)|2017. 02. 12.

Sparse and Compressive Sensing Techniques인용 수 28

한 줄 요약

이 논문은 0 < p < 1일 때 비볼록성과 비연속성 문제를 해결하기 위해 Schatten-p 노름에 대한 통합된 볼록 대체함수를 제안한다. 이는 임의의 p > 0에 대해 볼록적이고 부드러운 최적화를 가능하게 하며, 원래 Schatten-p 노름의 비볼록성과 비연속성 문제를 해결한다. 요인 행렬의 노름과 Schatten-p 노름 간의 등가성을 확립함으로써, 수렴성이 보장되고 우수한 경험적 성능을 보이는 가속화된 프록시 대체 선형 최소화 방법을 통한 효율적인 행렬 완성 기법을 가능하게 한다.

ABSTRACT

The Schatten- p norm (0 0 satisfying 1/ p = 1/ p 1 + 1/ p 2 , there is an equivalence between the Schatten- p norm of one matrix and the Schatten- p 1 and the Schatten- p 2 norms of its two factor matrices. We further extend the equivalence to multiple factor matrices and show that all the factor norms can be convex and smooth for any p > 0. In contrast, the original Schatten- p norm for 0 < p < 1 is non-convex and non-smooth. As an example we conduct experiments on matrix completion. To utilize the convexity of the factor matrix norms, we adopt the accelerated proximal alternating linearized minimization algorithm and establish its sequence convergence. Experiments on both synthetic and real datasets exhibit its superior performance over the state-of-the-art methods. Its speed is also highly competitive.

연구 동기 및 목표

• 0 < p < 1일 때 Schatten-p 노름의 비볼록성과 비연속성 문제로 인해 저질리드 저질리드 행렬 복원 최적화가 어려운 문제를 해결하기 위해.
• 요인 행렬 분해를 통해 Schatten-p 노름에 대한 볼록적이고 부드러운 대체함수를 수립하기 위해.
• 요인 행렬의 노름에서의 볼록성을 활용하여 효율적이고 수렴 가능한 최적화를 통한 행렬 완성 기법을 가능하게 하기 위해.
• 제안된 방법이 기존 최고 수준의 접근법에 비해 정확성과 계산 속도 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 조건 1/p = 1/p1 + 1/p2 하에, 요인 행렬의 Schatten-p1 및 Schatten-p2 노름과 관련지어 Schatten-p 노름에 대한 통합 볼록 대체함수를 제안한다.
• 다중 요인 행렬로의 등가성 확장을 통해, 임의의 p > 0에 대해 모든 요인 노름이 볼록적이고 부드러운 상태를 유지함을 보장한다.
• 수열 수렴이 보장된 가속화된 프록시 대체 선형 최소화(APALM) 알고리즘을 사용하여 최적화 문제를 해결한다.
• Schatten-p 노름과 요인 행렬 노름 간의 등가성을 활용하여 원래의 비볼록 문제를 볼록적이고 부드러운 최적화 프레임워크로 재구성한다.
• 요인 분해된 행렬에서 볼록 대체 목표 함수를 최소화하는 방식으로 행렬 완성에 적용한다.

실험 결과

연구 질문

• RQ1 0 < p < 1일 때 원래의 비볼록성에도 불구하고 Schatten-p 노름에 대한 볼록 대체함수를 구성할 수 있는가?
• RQ2 특정 매개변수 조건 하에 행렬의 Schatten-p 노름과 그 요인 행렬의 Schatten-p1 및 p2 노름 간에 수학적 등가성이 존재하는가?
• RQ3 임의의 p > 0에 대해 다중 분해 과정에서도 요인 행렬 노름의 볼록성과 부드러움이 유지되는가?
• RQ4 제안된 볼록 대체함수를 통해 기존 방법에 비해 더 빠르고 정확한 행렬 완성 기법을 확보할 수 있는가?

주요 결과

• 제안된 볼록 대체함수를 통해 임의의 p > 0에 대해 부드럽고 볼록적인 최적화가 가능해지며, 0 < p < 1일 때 원래 Schatten-p 노름의 비볼록성 문제를 해결한다.
• 1/p = 1/p1 + 1/p2 조건 하에, 행렬의 Schatten-p 노름과 그 요인 행렬의 Schatten-p1 및 p2 노름 간에 등가성이 확립된다.
• 합성 및 실세계 데이터셋 양쪽에서 행렬 완성 문제에서 최고 수준의 성능을 달성한다.
• 가속화된 프록시 대체 선형 최소화 알고리즘이 제안된 설정에 대해 수열 수렴을 보장한다.
• 기존 접근법에 비해 뛰어난 정확성과 함께 매우 경쟁력 있는 계산 속도를 보여준다.