[論文レビュー] A convergent hierarchy of non-linear eigenproblems to compute the joint spectral radius of nonnegative matrices

Stéphane Gaubert, Nikolas Stott|arXiv (Cornell University)|May 8, 2018

Advanced Optimization Algorithms Research被引用数 12

ひとこと要約

本稿では、非負行列の共同スペクトル半径（JSR）を計算するための収束する非線形固有値問題の階層を提案する。プロジェクト型クレノセルスキー＝マン反復を用いて固有値問題を効率的に解くことで、真のJSRに収束する上界を提供する。この手法により、行列次元にほとんど依存しないスケーラブルな計算が可能となり、大きさ5000の行列に対しても効率的に処理可能であり、従来のSDPベースの手法を上回る性能を発揮する。

ABSTRACT

We show that the joint spectral radius of a finite collection of nonnegative matrices can be bounded by the eigenvalue of a non-linear operator. This eigenvalue coincides with the ergodic constant of a risk-sensitive control problem, or of an entropy game, in which the state space consists of all switching sequences of a given length. We show that, by increasing this length, we arrive at a convergent approximation scheme to compute the joint spectral radius. The complexity of this method is exponential in the length of the switching sequences, but it is quite insensitive to the size of the matrices, allowing us to solve very large scale instances (several matrices in dimensions of order 1000 within a minute). An idea of this method is to replace a hierarchy of optimization problems, introduced by Ahmadi, Jungers, Parrilo and Roozbehani, by a hierarchy of nonlinear eigenproblems. To solve the latter eigenproblems, we introduce a projective version of Krasnoselskii-Mann iteration. This method is of independent interest as it applies more generally to the nonlinear eigenproblem for a monotone positively homogeneous map. Here, this method allows for scalability by avoiding the recourse to linear or semidefinite programming techniques.

研究の動機と目的

• グリッドベースおよび半定値計画法（SDP）ベースの手法に起因する制限を克服し、非負行列の共同スペクトル半径をスケーラブルかつ収束性を有する方法で計算するための手法を開発すること。
• 従来の多面体的またはSDPベースの近似スキームに代えて、真のJSRに収束する非線形固有値問題の階層を構築すること。
• 行列次元に依存しない複雑さを実現し、高価なSDPソルバーを回避することで、大規模行列（例：1000〜5000次）の効率的計算を可能とすること。
• 単調かつ正Homogeneousな動的計画法作用素を介して、JSR計算、リスクセンシティブ制御、エントロピー・ゲームの間の関係を確立すること。
• 非負行列に対して単調ノルムが十分であることを踏まえ、従来手法の数値的安定性とスケーラビリティに優れた代替手法を提供すること。

提案手法

• 本手法は、深さパラメータ d でパrameter化された非線形固有値問題の階層を構築し、各レベル d でJSRの上界が得られる。
• 各固有値問題は、長さ d のスイッチング列におけるリスクセンシティブ制御問題またはエントロピー・ゲームに関連する動的計画法作用素から生じる。
• 非線形固有値は、単調かつ正Homogeneousな写像に適したプロジェクト型クレノセルスキー＝マン反復により計算される。
• 各レベルにおける固有ベクトルは、単調な λ-極大ノルムを符号化しており、線形形式の上界として表現され、多面体近似を形成する。
• 線形計画法や半定値計画法を回避するため、射影距離における反復的固定点更新に依存し、対数凸性および非拡大性の下で収束を保証する。
• 実装はOCamlで行われ、停止基準は 10−6 であり、収束は通常50回未満の反復で達成される。

実験結果

リサーチクエスチョン

• RQ1 非負行列の共同スペクトル半径を計算するための収束する非線形固有値問題の階層を構築できるか？
• RQ2 プロジェクト型クレノセルスキー＝マン反復は、これらの非線形固有値問題をスケーラブルかつ収束的に解く手法を提供するか？
• RQ3 本手法は、行列サイズが1000〜5000の大規模行列に対しても、高精度かつ行列次元に依存しない効率性を維持できるか？
• RQ4 一意なスペクトル最大化積と一意な支配的固有値を持つという仮定の下で、階層は正確か？
• RQ5 従来のSDPまたは多面体ベースの手法と比較して、本手法はスケーラビリティおよび精度において優れているか？

主な発見

• 深さ d が増加するにつれて、非線形固有値問題の階層は真の共同スペクトル半径に収束する。5×5行列ペアでは d=7 で収束が観察された。
• 5×5行列ペアにおいて、d=7 で正確なJSR値 2.0273 を回復し、相対誤差は 0.0% に低下した。
• 深さ d に伴い計算時間は指数関数的に増加するが、管理可能な範囲に保たれる。5×5ケースでは d=7 で0.7秒、d=9 で1.12秒であった。
• 1000次行列では、d=3 で2.7分（3分未満）でJSRが計算可能であり、スケーラビリティが示された。
• 5000次行列では、d=3 で約3.3時間で計算が完了し、非常に大規模なインスタンスに対しても実行可能であることが示された。
• 高価な半定値計画法を回避することで、従来のSDPベースの手法を上回り、大規模問題においてより高速な計算が可能となった。