[논문 리뷰] Jacobi-type algorithm for low rank orthogonal approximation of symmetric tensors and its convergence analysis

Jianze Li, Konstantin Usevich외 1명|arXiv (Cornell University)|2019. 11. 02.

Tensor decomposition and applications참고 문헌 32인용 수 8

한 줄 요약

이 논문은 대칭 텐서의 저질서 직교 근사에 대한 자코비 유형 알고리즘을 제안하며, 잘 알려진 자코비 CoM2 방법을 확장한다. 기울기 기반 순서를 사용할 경우, 3차 대칭 텐서의 랭크-2 근사에 대해 전역 수렴성을 확립하고, 추가 조건 없이 전역 수렴성을 보장하는 프록시멀 변형을 제안한다. 수치 실험을 통해 기존 방법들보다 뛰어난 성능을 입증한다.

ABSTRACT

In this paper, we propose a Jacobi-type algorithm to solve the low rank orthogonal approximation problem of symmetric tensors. This algorithm includes as a special case the well-known Jacobi CoM2 algorithm for the approximate orthogonal diagonalization problem of symmetric tensors. We first prove the weak convergence of this algorithm, extit{i.e.} any accumulation point is a stationary point. Then we study the global convergence of this algorithm under a gradient based ordering for a special case: the best rank-2 orthogonal approximation of 3rd order symmetric tensors, and prove that an accumulation point is the unique limit point under some conditions. Numerical experiments are presented to show the efficiency of this algorithm.

연구 동기 및 목표

• 대칭 텐서의 저질서 직교 근사에 대해 강력하고 전역 수렴성을 보장하는 알고리즘을 개발하는 것.
• 자코비 CoM2 알고리즘을 랭크-1 및 전체 랭크 경우를 초월한 일반적인 저질서 근사 문제로 확장하는 것.
• 3차 대칭 텐서의 랭크-2 경우에 대해 특정 조건 하에서 전역 수렴성을 확립하는 것.
• 추가 제약 조건 없이 전역 수렴성을 보장하는 프록시멀 변형을 제안하는 것.
• SLROAT 및 트러스트 영역 방법과의 비교를 통해 알고리즘의 효율성과 강건성을 실증적으로 검증하는 것.

제안 방법

• 알고리즘은 캐논리컬 벡터의 쌍에 대해 순차적인 자코비 스위프트를 수행하여 저질서 근사를 점진적으로 향상시킨다.
• 자코비 반복에서 직교 회전의 순서를 결정하기 위해 기울기 기반 순서 전략을 사용한다.
• 일반적인 경우, 최적화 하위문제에 이차 정규화 항을 추가하여 프록시멀 변형을 도입한다.
• 잔차 업데이트를 효율적으로 계산하기 위해 연산자 $\boldsymbol{\mathcal{A}}(\boldsymbol{M}) = \boldsymbol{\mathcal{A}} \mathop{\bullet_{1}} \boldsymbol{M}^{{\sf T}} \mathop{\bullet_{2}} \cdots \mathop{\bullet_{d}} \boldsymbol{M}^{{\sf T}}$ 를 통한 텐서 수축 연산을 활용한다.
• 수렴성 분석은 약한 극한점 성질과 직교 변환 하에서의 대칭 텐서의 구조에 기반한다.
• 수치 실험은 합성 및 실제 텐서 데이터를 사용하여 이 알고리즘을 SLROAT 및 트러스트 영역 방법과 비교한다.

실험 결과

연구 질문

• RQ1 자코비 유형 알고리즘이 대칭 텐서의 저질서 직교 근사에 대해 전역 수렴성을 달성할 수 있는가?
• RQ2 기울기 기반 순서 조건 하에서, 3차 대칭 텐서의 랭크-2 근사에 대해 알고리즘이 수렴성과 성능를 유지하는가?
• RQ3 프록시멀 변형이 추가 가정 없이 전역 수렴성을 보장할 수 있는가?
• RQ4 제안된 알고리즘은 SLROAT 및 트러스트 영역 방법과 비교해 성능 및 안정성 면에서 어떻게 다른가?
• RQ5 실제로 축적점에서 최적성 조건을 만족하는 빈도는 얼마나 높은가?

주요 결과

• 기울기 기반 순서 조건 하에서, 제안된 자코비 유형 알고리즘은 3차 대칭 텐서의 최적 랭크-2 직교 근사에 대해 전역 수렴성을 달성하며, 특정 조건 하에서는 축적점이 유일하다.
• 알고리즘의 프록시멀 변형은 추가 가정 없이도 전역 수렴성을 보장하여 비프록시멀 대비 더 강건함을 입증한다.
• 예제 6.1에서 JLROA 알고리즘은 $p > 2$ 일 때 SLROAT을 능가하며, $p=8$ 일 때 1000건 중 900건에서 더 나은 또는 동일한 결과를 보였다.
• 예제 6.2에서 JLROA는 항상 SLROAT 및 LROAT를 능가했으며, SHOPM 및 SLROAT가 수렴에 실패한 경우에도 안정적으로 성능을 유지했다.
• 예제 6.3에서 트러스트 영역 방법은 $p > 2$ 일 때 JLROA를 능가했지만, $p=1$ 및 $p=2$ 일 때 JLROA의 성능은 상당히 열 劣했으며, 각각 RatioG = 211.78 및 5.03로 나타났다.
• 예제 6.4에서 임의의 1000회 시험 중 991회에서 임계 최적성 조건이 만족되었고 ($\omega > 0.0001$), 이는 의미 있는 정류점으로 수렴하는 빈도가 매우 높음을 시사한다.