[論文レビュー] Minimizing convex quadratic with variable precision Krylov methods

Serge Gratton, Ehouarn Simon+1 more|arXiv (Cornell University)|Jul 17, 2018

Matrix Theory and Algorithms被引用数 2

ひとこと要約

本稿では、不正確な行列・ベクトル積を活用することで、凸二次最適化問題を解くための変精度Krylov法を提案する。共役勾配法およびフル直交化法の理論的境界を導出し、主要な数量を推定し、多倍率計算環境において優れた性能を示す実用的アルゴリズムを提案する。

ABSTRACT

Iterative algorithms for the solution of convex quadratic optimization problems are investigated, which exploit inaccurate matrix-vector products. Theoretical bounds on the performance of a Conjugate Gradients and a Full-Orthormalization methods are derived, the necessary quantities occurring in the theoretical bounds estimated and new practical algorithms derived. Numerical experiments suggest that the new methods have significant potential, including in the steadily more important context of multi-precision computations.

研究の動機と目的

• 多倍率計算環境における効率的な最適化の増大するニーズに対応すること。
• 凸二次最適化における不正確な行列・ベクトル積を許容する反復解法を分析すること。
• 不正確算術下での共役勾配法およびフル直交化法に対する理論的性能境界を導出すること。
• 実用的アルゴリズム設計を支援するため、これらの境界における重要な数量を推定すること。
• 変精度計算に耐えうる、新たな強健なアルゴリズムの開発

提案手法

• 計算コストを削減するために、Krylov部分空間法に不正確な行列・ベクトル積を適用する。
• 変精度算術下での共役勾配法およびフル直交化法の理論的収束境界を導出する。
• 誤差伝播を定量化するために、条件数および残差ノルムを推定する。
• 理論的誤差境界に基づき、精度を動的に適応させる新しい実用的アルゴリズムを導入する。
• 中間ステップで精度を低くすることで、二次的目的関数をKrylov部分空間射影によって最小化する。
• さまざまな精度設定下での凸二次問題に対する数値実験を通じて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 不正確な行列・ベクトル積は、凸二次最適化のKrylov法の収束にどのように影響するか？
• RQ2 変精度算術下での共役勾配法およびフル直交化法に対して、どのような理論的境界を導出できるか？
• RQ3 不正確Krylov反復における誤差伝播を支配する数量は何か？ そして、それらはどのように効率的に推定できるか？
• RQ4 収束を維持しつつ、行列・ベクトル積の精度を低下させる実用的アルゴリズムを設計できるか？
• RQ5 標準的手法と比較して、これらの手法は多倍率計算ワークロードにおいてどのように性能を発揮するか？

主な発見

• 不正確算術下での共役勾配法およびフル直交化法に対する理論的境界が導出され、精度制御の基盤が提供された。
• 条件数や残差ノルムといった重要な数量が効果的に推定され、アルゴリズム設計を支援した。
• 変精度行列・ベクトル積に耐えうる、新たな実用的アルゴリズムが開発された。
• 数値実験により、特に多倍率計算環境において顕著な性能向上が確認された。
• 中間計算における精度の低下に対しても、手法は強健性と効率性を示した。
• 凸二次最適化問題において、解の精度を損なわずに顕著な計算コスト削減が可能となった。