[論文レビュー] Semidefinite Relaxations for Best Rank-1 Tensor Approximations

Jiawang Nie, Li Wang|arXiv (Cornell University)|Aug 29, 2013

Tensor decomposition and applications参考文献 29被引用数 5

ひとこと要約

本稿では、対称および非対称テンソルの最良ランク1テンソル近似を計算するための、多項式最適化問題として球面上に定式化された、和の平方（SOS）表現に基づく半定値緩和法を提案する。著者らは、ニュートン-CG増大ラグランジュ法（SDPNAL）を用いて効率的に解ける、特化された半定値計画問題を構築し、数値実験において一貫してグローバル最適なランク1近似を達成した。

ABSTRACT

This paper studies the problem of finding best rank-1 approximations for both symmetric and nonsymmetric tensors. For symmetric tensors, this is equivalent to optimizing homogeneous polynomials over unit spheres; for nonsymmetric tensors, this is equivalent to optimizing multi-quadratic forms over multi-spheres. We propose semidefinite relaxations, based on sum of squares representations, to solve these polynomial optimization problems. Their properties and structures are studied. In applications, the resulting semidefinite programs are often large scale. The recent Newton-CG augmented Lagrangian method by Zhao, Sun and Toh is suitable for solving these semidefinite relaxations. Extensive numerical experiments are presented to show that this approach is practical in getting best rank-1 approximations.

研究の動機と目的

• ランク1近似の計算はNP困難であり、高ランクでは存在しない可能性があるため、実テンソルの最良ランク1近似を信頼的かつ効率的に計算するための手法を開発すること。
• 単位球面上の多項式最適化問題に再定式化することで、テンソル近似における非凸・非線形最適化の課題に対処すること。
• タイトでスケーラブルな半定値緩和法を設計し、対称および非対称テンソルの両方のケースにおいてグローバル最適化を可能にすること。
• HOPM や ALS などの従来の反復的手法が局所最適解に収束する可能性があるという制限を克服すること。

提案手法

• すべての i に対して ||xⁱ||=1 を満たす制約のもとで、|F(x¹,…,xᵐ)| を最大化する、単位球面上の同次多項式最適化問題として最良ランク1近似問題を定式化する。
• 偶数次・奇数次対称および非対称テンソルの両方に対して、和の平方（SOS）表現を用いた低ランク半定値緩和法を構築する。
• 得られた大規模半定値計画問題を、ニュートン-CG増大ラグランジュ法（SDPNAL）を用いて効率的に解く。
• ランク1回復ヒューリスティクスを適用：最適解行列がランク1の場合、それに対応するベクトルが最良ランク1近似を与える。
• 高階の緩和法では、収束する階層の半定値計画問題を用いて解の精度を向上させる。
• 緩和行列のランクが1より大きい場合には、fmincon などの局所非線形最適化を適用してランク1近似を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 和の平方表現に基づく半定値緩和法は、テンソルの最良ランク1近似を信頼的に計算できるか？
• RQ2 HOPM や ALS といった標準的な反復手法と比較して、提案手法の解の品質および収束性はいかがなものか？
• RQ3 テンソル近似問題に由来する大規模半定値緩和法のスケーラビリティおよび数値的ロバスト性は？
• RQ4 どのような条件下で半定値緩和法がランク1解を生成し、何時において追加の局所最適化が必要になるか？
• RQ5 ニュートン-CG増大ラグランジュ法（SDPNAL）は、これらの大規模SDPを解く際、内点法と比較してどのように性能を発揮するか？

主な発見

• 提案された半定値緩和法は、解行列 K(w*)、M(y*)、M(z*) がすべてランク1であることを確認することで、一貫してグローバル最適なランク1近似を生成した。
• (n,m) = (15,3) から (35,3) および (7,4) から (12,4) のテストケースにおいて、SDPの残差は約1264–3595、HOPMの残差は約1295–3622であった。HOPMは妥当なが、最良でない結果を与えることが示された。
• HOPMは本手法よりも速い（数秒程度）が、ほとんどのケースで最良近似に到達できず、緩和解のランク1検証によりその事実が裏付けられた。
• SDPNALは大多数のケースで半定値緩和を正常に解いたが、(n,m)=(10,4) のような退化ケースでは数値的困難を示し、退化SDPの取り扱いにおける制限を示した。
• 緩和行列のランクが1より大きい場合には、fmincon や準ニュートン法を適用することで近似が改善され、ハイブリッド手法のロバスト性が確認された。
• 特に対称テンソルに対して本手法は効果的であり、緩和がタイトで収束がより信頼性が高く、偶数次テンソルに対して顕著であった。