[論文レビュー] Inexact Newton Method for M-Tensor Equations

Donghui Li, Hong-Bo Guan+1 more|arXiv (Cornell University)|Jul 27, 2020

Tensor decomposition and applications参考文献 21被引用数 4

ひとこと要約

本稿では、定数項が非負である場合に、元の問題を次元削減技術を用いて低次元問題に変換することで、Mテンソル方程式を解くための不正確ニュートン法を提案する。この手法は、二次収束率を達成するグローバル収束を示し、QCAなどの既存手法と比較して、さまざまなテンソルサイズおよび次数における広範な数値実験により、優れた数値的性能を示している。

ABSTRACT

We first investigate properties of M-tensor equations. In particular, we show that if the constant term of the equation is nonnegative, then finding a nonnegative solution of the equation can be done by finding a positive solution of a lower dimensional M-tensor equation. We then propose an inexact Newton method to find a positive solution to the lower dimensional equation and establish its global convergence. We also show that the convergence rate of the method is quadratic. At last, we do numerical experiments to test the proposed Newton method. The results show that the proposed Newton method has a very good numerical performance.

研究の動機と目的

• Mテンソル方程式の構造的性質、特に非負解の存在と計算を調査すること。
• 次元削減から生じる低次元Mテンソル方程式を解くための不正確ニュートン法を開発すること。
• 提案された不正確ニュートン法のグローバル収束および二次収束率を確立すること。
• さまざまな次数およびサイズのテンソルに対する包括的な実験を通じて、手法の効率性およびロバスト性を数値的に検証すること。
• 文献[13]におけるQCA法と比較して、反復回数およびCPU時間の観点から提案手法の性能を評価すること。

提案手法

• 定数項bが非負である場合、元のMテンソル方程式を低次元問題に削減し、正解の効率的解法を可能にする。
• 低次元方程式の解法に不正確ニュートン反復を適用し、ニュートンステップを相対誤差許容範囲内で近似的に計算する。
• パラメータσ = 0.1およびρ = 0.5を用いた安全なArmijo線分探索を導入することで、グローバル収束を保証する。
• bにゼロ成分を含む場合の安定性を向上させるために、正則化ニュートン変種を導入し、正則化パラメータと修正された線分探索を用いる。
• Mテンソル構造を活用して、反復の全過程で解が正のまま保たれることを保証する。
• 100組のランダムなテンソルおよびベクトルペアを各(m,n)サイズに対して用いて数値比較を実施し、bは一様分布(0,1)から抽出するか、ゼロ要素を含むように変更する。

実験結果

リサーチクエスチョン

• RQ1 b ≥ 0の場合、非負Mテンソル方程式の解が、低次元Mテンソル方程式に還元可能か？
• RQ2 低次元問題に対する不正確ニュートン法が、グローバル収束および二次収束率を達成するか？
• RQ3 反復回数およびCPU時間の観点から、不正確ニュートン法はQCA法と比較してどのように性能を発揮するか？
• RQ4 bにゼロ成分を含む場合、正則化ニュートン法は数値的安定性を向上させられるか？
• RQ5 本手法のスケーラビリティは、さまざまなテンソル次数（m）および次元（n）においてどのように評価されるか？

主な発見

• 不正確ニュートン法は、低次元Mテンソル方程式の解法において、グローバル収束および二次収束率を達成する。
• 全テスト問題において、不正確ニュートン法はQCA法と比較して平均して90％以下の反復回数を要し、全サイズ範囲でTR値が90％未満であった。
• b ∈ ℝ₊ⁿの場合、不正確ニュートン法はCPU時間を最大88.2％（(3,500)の場合）および反復回数を最大96.3％（(5,30)の場合）まで削減した。
• 正則化ニュートン法は、反復回数およびCPU時間の両面でQCAを上回り、TR値は60％から99.6％、IRは49.4％から95.7％の範囲であった。
• bにゼロ成分を含む問題では、正則化ニュートン法が顕著な改善を示し、一部のケースではTR値が14.2％、IRが8.3％まで低下した。
• QCA法は理論的にb ∈ ℝ₊ⁿの場合に保証されないが、全テストケースで正常に解を発見したが、常に提案手法に劣る性能を示した。