[論文レビュー] Nesterov Acceleration of Alternating Least Squares for Canonical Tensor Decomposition

Drew Mitchell, Nan Ye+1 more|arXiv (Cornell University)|Oct 13, 2018

Tensor decomposition and applications被引用数 7

ひとこと要約

本稿では、非凸設定における収束不安定性を克服するため、正準テンソル分解に対するNesterov加速交替最小二乗法（ALS）と適応的リスタート機構を提案する。この手法は、収束速度が著しく速く、特に悪条件または高精度問題において優れたロバスト性を示し、標準的なALS、Nesterov勾配法、および既存の加速手法（NCG、NGMRES、LBFGS）を上回る。実装はシンプルである。

ABSTRACT

We present Nesterov-type acceleration techniques for Alternating Least Squares (ALS) methods applied to canonical tensor decomposition. While Nesterov acceleration turns gradient descent into an optimal first-order method for convex problems by adding a momentum term with a specific weight sequence, a direct application of this method and weight sequence to ALS results in erratic convergence behaviour. This is so because the tensor decomposition problem is non-convex and ALS is accelerated instead of gradient descent. Instead, we consider various restart mechanisms and suitable choices of momentum weights that enable effective acceleration. Our extensive empirical results show that the Nesterov-accelerated ALS methods with restart can be dramatically more efficient than the stand-alone ALS or Nesterov accelerated gradient methods, when problems are ill-conditioned or accurate solutions are desired. The resulting methods perform competitively with or superior to existing acceleration methods for ALS, including ALS acceleration by NCG, NGMRES, or LBFGS, and additionally enjoy the benefit of being much easier to implement. We also compare with Nesterov-type updates where the momentum weight is determined by a line search, which are equivalent or closely related to existing line search methods for ALS. On a large and ill-conditioned 71$ imes$1000$ imes$900 tensor consisting of readings from chemical sensors to track hazardous gases, the restarted Nesterov-ALS method shows desirable robustness properties and outperforms any of the existing methods by a large factor. There is clear potential for extending our Nesterov-type acceleration approach to accelerating other optimization algorithms than ALS applied to other non-convex problems, such as Tucker tensor decomposition. Our Matlab code is available at this https URL.

研究の動機と目的

• 非凸テンソル分解問題における直接的なNesterov加速の不安定性を解消すること。
• 正準テンソル分解におけるALSのための安定的かつ効率的な加速フレームワークを開発すること。
• 特に悪条件または高精度問題において、収束速度と解の精度を向上させること。
• 複雑な準ニュートン法や非線形共役勾配法の代替として、よりシンプルな手法を提供すること。
• Tucker分解のような他の非凸テンソル問題へのNesterov型加速の可能性を検討すること。

提案手法

• 勾配降下法の代わりに、非凸最適化に適応したモーメンタム重み系列を用いて、ALSにNesterov型モーメンタムを導入する。
• 非凸設定における収束の不安定性を防ぐために、リスタート機構を採用する。
• 一部の変種では、ラインサーチを用いてモーメンタム重みを決定し、ALSにおける既存のラインサーチ手法と関連付ける。
• 現在の反復点と過去の反復点に基づくモーメンタム項を組み合わせた、修正された更新則を採用する。
• 収束の停滞または発散が検出された際に、モーメンタムをリセットする動的リスタート戦略を実装する。
• 合成データおよび実世界のデータ（71×1000×900のセンサーテンソルを含む）を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 非凸テンソル分解におけるALSにNesterov加速を効果的に適用できるか、収束の不安定性が生じないか？
• RQ2 どのリスタート機構とモーメンタム重み系列が、非凸ALSにおける安定的かつ高速な収束を実現できるか？
• RQ3 Nesterov加速ALSは、標準的ALSおよびNCG、NGMRES、LBFGSなどの他の加速手法と比較して、性能とロバスト性で優れているか？
• RQ4 大規模で悪条件のテンソル問題において、この手法は効率的かつ安定的か？
• RQ5 この手法は、正準分解を超える他の非凸テンソル最適化問題へ一般化可能か？

主な発見

• リスタート付きNesterov-ALSは、悪条件または高精度テンソル分解タスクにおいて、標準的ALSおよびNesterov加速勾配法を著しく上回る。
• 71×1000×900の化学センサーテンソルにおいて、本手法はすべての既存手法を大きく上回るロバスト性と性能を示した。
• 本手法は、NCG、NGMRES、LBFGSと同等またはそれ以上の性能を達成しているが、実装がはるかに簡単である。
• 本手法におけるラインサーチに基づくモーメンタム重みは、ALSにおける既存のラインサーチ手法と同等または密接に関連しており、手法の妥当性を裏付けている。
• Tuckerテンソル分解のような他の非凸テンソル問題への応用可能性が明確に示された。
• 実験結果から、Nesterovモーメンタムとリスタート機構の組み合わせが、非凸設定における収束の安定化と進行の加速を実現することが確認された。