[論文レビュー] Second-order optimization for tensors with fixed tensor-train rank

Michael Psenka, Nicolas Boumal|arXiv (Cornell University)|Nov 26, 2020

Tensor decomposition and applications参考文献 7被引用数 4

ひとこと要約

本稿では、固定TTランクテンソルの多様体上でのリーマンHessianの最初の効率的計算を提示し、リーマン的信頼領域法による2次最適化を可能にした。この手法は、1次最適化手法および交互最小二乗法と比較して、低ランクテンソル補完においてより高速な収束と向上した性能を達成し、計算複雑度はO(d²nr³)である。

ABSTRACT

There are several different notions of "low rank" for tensors, associated to different formats. Among them, the Tensor Train (TT) format is particularly well suited for tensors of high order, as it circumvents the curse of dimensionality: an appreciable property for certain high-dimensional applications. It is often convenient to model such applications as optimization over the set of tensors with fixed (and low) TT rank. That set is a smooth manifold. Exploiting this fact, others have shown that Riemannian optimization techniques can perform particularly well on tasks such as tensor completion and special large-scale linear systems from PDEs. So far, however, these optimization techniques have been limited to first-order methods, likely because of the technical hurdles in deriving exact expressions for the Riemannian Hessian. In this paper, we derive a formula and efficient algorithm to compute the Riemannian Hessian on this manifold. This allows us to implement second-order optimization algorithms (namely, the Riemannian trust-region method) and to analyze the conditioning of optimization problems over the fixed TT rank manifold. In settings of interest, we show improved optimization performance on tensor completion compared to first-order methods and alternating least squares (ALS). Our work could have applications in training of neural networks with tensor layers. Our code is freely available.

研究の動機と目的

• 固定テンソル・トレイン（TT）ランクテンソルの多様体における2次最適化手法の不足に対処する。
• TT多様体上でリーマンHessianを計算することにより、最適化における非線形局所収束を実現する。
• テンソル補完および関連問題のためのリーマンHessianを効率的に計算するアルゴリズムを開発する。
• 低ランクテンソル補完タスクにおいて、1次最適化手法および交互最小二乗法（ALS）と比較して、収束性と性能が向上することを実証する。
• 低ランクテンソル多様体上で強固な2次最適化を可能にするため、ニューラルネットワークにテンソル層を組み込む機械学習の応用を促進する。

提案手法

• リーマン幾何学とテンソル・トレイン構造を用いて、固定TTランクテンソルの多様体上でのリーマンHessianの正確な式を導出する。
• テンソル・トレイン形式を活用し、コアテンソルとインターフェース行列を用いてHessianを表現することで、効率的な計算を可能にする。
• 再帰的行列積を用いた前向きおよび後ろ向きのパスを通じて、TTコアを介したHessian作用を計算するアルゴリズムを設計する。
• TT形式の構造を活用して、クロス項およびHessian-ベクトル積をO(d²nr³)の演算で計算し、完全なHessianの構築を回避する。
• ManoptツールボックスにHessian計算を統合し、リーマン的信頼領域法での利用を可能にする。
• 最適化問題をTT多様体上で定式化し、Hessianを用いて収束性を向上させることで、テンソル補完にこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 固定テンソル・トレインランクテンソルの多様体上で、リーマンHessianを効率的に計算できるか？
• RQ2 TT多様体上で2次最適化を適用すると、テンソル補完において1次最適化手法よりも収束が速くなり、性能が向上するか？
• RQ3 TT構造を持つテンソルのリーマンHessian作用の計算複雑度は何か？
• RQ4 低ランクテンソル補完において、リーマン的信頼領域法は、交互最小二乗法および1次最適化手法と比較してどのように性能を発揮するか？
• RQ5 TT多様体上で2次最適化を実用的に、ニューラルネットワークにテンソル層を組み込むような機械学習タスクに応用できるか？

主な発見

• 本稿では、固定TTランク多様体上でリーマンHessianを効率的に計算するアルゴリズムを正確に導出し、実装した。これにより2次最適化が可能になった。
• Hessian-ベクトル積の計算複雑度はO(d²nr³)であり、高次元テンソルに対してもスケーラブルで実用的である。
• 数値実験の結果、リーマン的信頼領域法は、1次最適化手法およびALSと比較して、低ランクテンソル補完においてより高速な収束と優れた性能を示した。
• この手法は、TT多様体上での2次最適化の理論的利点を裏付ける、非線形局所収束を示した。
• 実装は公開されており、再現性が保たれ、偏微分方程式やテンソル層を備えたニューラルネットワークなど、他の応用分野への応用を容易にする。
• 特に条件数が悪く、高次元な設定では、既存の手法と比較して解の精度と収束速度の両面で優れた性能を発揮した。