[논문 리뷰] Semidefinite Relaxations for Best Rank-1 Tensor Approximations

Jiawang Nie, Li Wang|arXiv (Cornell University)|2013. 08. 29.

Tensor decomposition and applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 대칭 및 비대칭 텐서에 대한 최적의 랭크-1 텐서 근사값을 계산하기 위해 다항식 최적화 문제로 재구성된 구조를 기반으로 한 정수형 이완 방법을 제안한다. 구면 위에서 다항식 최적화 문제로 문제를 재정의함으로써, 저자들은 효율적으로 해결할 수 있는 맞춤형 정수형 프로그래밍을 개발하였으며, 이는 뉴턴-CG 보완 라그랑주 방법(SDPNAL)을 사용하여 수치 실험에서 항상 전역 최적의 랭크-1 근사값을 도출한다.

ABSTRACT

This paper studies the problem of finding best rank-1 approximations for both symmetric and nonsymmetric tensors. For symmetric tensors, this is equivalent to optimizing homogeneous polynomials over unit spheres; for nonsymmetric tensors, this is equivalent to optimizing multi-quadratic forms over multi-spheres. We propose semidefinite relaxations, based on sum of squares representations, to solve these polynomial optimization problems. Their properties and structures are studied. In applications, the resulting semidefinite programs are often large scale. The recent Newton-CG augmented Lagrangian method by Zhao, Sun and Toh is suitable for solving these semidefinite relaxations. Extensive numerical experiments are presented to show that this approach is practical in getting best rank-1 approximations.

연구 동기 및 목표

• 실수 텐서의 최적 랭크-1 근사값을 신뢰성 있고 효율적으로 계산하기 위한 방법 개발. 이는 계산이 NP-난해하며, 높은 랭크에서는 존재하지 않을 수 있음.
• 단위 구면 위에서 다항식 최적화 문제로 재구성함으로써, 텐서 근사에서의 비볼록, 비선형 최적화 문제를 해결.
• 엄밀하고 확장 가능한 정수형 이완을 설계하여 대칭 및 비대칭 텐서의 전역 최적화를 가능하게 함.
• 기존 반복적 방법인 HOPM과 ALS의 한계를 극복함. 이들은 국소 최적해로 수렴할 수 있음.

제안 방법

• 모든 i에 대해 ||xⁱ||=1 조건 하에 |F(x¹,…,xᵐ)|을 최대화하는 동차 다항식 최적화 문제로 최적의 랭크-1 근사 문제를 재구성.
• 짝수/홀수 대칭 및 비대칭 텐서 모두에 대해, 합의 제곱(SOS) 표현을 이용한 저랭크 정수형 이완을 구성.
• 결과적으로 유도된 대규모 정수형 프로그래밍을 효율적으로 해결하기 위해 뉴턴-CG 보완 라그랑주 방법(SDPNAL)을 사용.
• 랭크-1 복원 히우리스틱 적용: 최적 해 행렬이 랭크 1이면, 해당 벡터들이 최적의 랭크-1 근사값을 제공함.
• 고차수 이완의 경우, 수렴하는 정수형 프로그래밍의 계층을 사용하여 해의 정확도를 향상.
• 이완 행렬의 랭크가 1을 초과할 경우, 근사값을 개선하기 위해 국소 비선형 최적화(fmincon 등)를 적용.

실험 결과

연구 질문

• RQ1 합의 제곱 표현을 기반으로 한 정수형 이완 방법이 텐서의 최적 랭크-1 근사값을 신뢰성 있게 계산할 수 있는가?
• RQ2 제안된 이완 방법은 HOPM 및 ALS와 같은 표준 반복적 방법에 비해 해의 질과 수렴성 측면에서 어떻게 성능을 내는가?
• RQ3 텐서 근사 문제에서 유도된 대규모 정수형 이완을 해결하는 데 있어 확장성과 수치적 안정성은 어떠한가?
• RQ4 정수형 이완이 언제 랭크-1 해를 도출하고, 언제 추가적인 국소 최적화가 필요한가?
• RQ5 뉴턴-CG 보완 라그랑주 방법(SDPNAL)은 이러한 대규모 정수형 프로그래밍을 해결하는 데 있어 내부점 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 정수형 이완 방법은 해 행렬 K(w*), M(y*), M(z*)의 랭크-1 성질을 통해 검증된 바, 항상 전역 최적의 랭크-1 근사값을 생성한다.
• (n,m) = (15,3)에서 (35,3), (7,4)에서 (12,4)까지의 테스트 케이스에서, SDP의 잔차 값은 약 1264–3595, HOPM의 잔차 값은 약 1295–3622를 기록하여 HOPM이 합리적으로 양호한 결과를 내지만, 최적해는 아님을 확인.
• HOPM은 제안된 방법보다 빠르며(수십 초), 대부분의 경우 최적 근사값을 찾지 못함을 확인한 바, 이는 이완 해의 랭크-1 검증을 통해 입증됨.
• SDPNAL은 대부분의 경우 정수형 이완을 성공적으로 해결했지만, (n,m)=(10,4)와 같은 특이한 경우에서 수치적 어려움을 겪어, 특이한 정수형 프로그래밍을 처리하는 데 한계가 있음.
• 이완 행렬의 랭크가 1을 초과할 경우, fmincon 또는 준-뉴턴 방법을 적용하여 근사값을 향상시켜, 하이브리드 접근법의 강건성을 확인.
• 특히 대칭 텐서의 경우, 이완이 더 타이트하고 수렴이 더 신뢰할 수 있어, 짝수 차수 텐서에서 특히 효과적임.