[論文レビュー] Convergence analysis for the Riemannian conjugate gradient method

Hiroyuki Sato, Toshihiro Iwai|arXiv (Cornell University)|Feb 1, 2013

Numerical methods in inverse problems被引用数 1

ひとこと要約

本稿では、リーマン多様体上の共役勾配法におけるスケーリング付きベクトル輸送を導入し、より緩い仮定のもとでグローバル収束を達成する。ベクトルのノルムが増加する場合にその輸送されたベクトルをスケーリングすることで、標準的手法が発散する場合でさえも収束を保証する。理論的分析および困難な最小化問題に対する数値実験により、その有効性が確認された。

ABSTRACT

This article deals with the conjugate gradient method on a Riemannian manifold with interest in global convergence analysis. The existing conjugate gradient algorithms on a manifold endowed with a vector transport need the assumption that the vector transport does not increase the norm of tangent vectors, in order to confirm that generated sequences have a global convergence property. In this article, the notion of a scaled vector transport is introduced to improve the algorithm so that the generated sequences may have a global convergence property under a relaxed assumption. In the proposed algorithm, the transported vector is rescaled in case its norm has increased during the transport. The global convergence is theoretically proved and numerically observed with examples. In fact, numerical experiments show that there exist minimization problems for which the existing algorithm generates divergent sequences, but the proposed algorithm generates convergent sequences.

研究の動機と目的

• グローバル収束を達成するために、ベクトル輸送が接ベクトルのノルムを保存する必要があるという、既存のリーマン多様体上の共役勾配法の制限を解決すること。
• ベクトル輸送がベクトルのノルムを増加させる場合でも、グローバル収束を維持できるように変更されたアルゴリズムを開発すること。
• 輸送後のベクトルを再スケーリングすることで収束性を保つスケーリング付きベクトル輸送機構を導入すること。
• 提案手法の改善された収束行動を理論的に証明し、数値的に検証すること。

提案手法

• ノルムが増加した場合にその輸送されたベクトルを再スケーリングする、標準的ベクトル輸送を変更したスケーリング付きベクトル輸送の概念を導入する。
• このスケーリング付き輸送を用いてリーマン多様体上の共役勾配法を適用し、降下性および収束性を保証する。
• 目的関数の十分な減少を保証するために、非単調ラインサーチ戦略を採用する。
• 共役方向の更新にポラック＝リブレー形式を用い、スケーリング付き輸送を考慮したリーマン設定に適応する。
• 理論的分析により、従来手法よりも弱い仮定のもとでグローバル収束を証明する。
• 数値実験では、標準的手法で発散する行動を示すテスト問題に対して、提案手法と標準アルゴリズムを比較する。

実験結果

リサーチクエスチョン

• RQ1 ベクトル輸送が接ベクトルのノルムを保存する必要がない条件下でも、リーマン多様体上の共役勾配法がグローバル収束を達成できるか？
• RQ2 輸送プロセスにベクトルの再スケーリングを組み込むと、アルゴリズムの収束行動にどのような影響を与えるか？
• RQ3 既存のリーマン多様体上の共役勾配法が発散するが、提案手法では収束する最小化問題は存在するか？
• RQ4 スケーリング付きベクトル輸送は、アルゴリズムの収束速度およびロバストネスにどのような影響を与えるか？

主な発見

• 提案手法は、ベクトル輸送が接ベクトルのノルムを保存または減少させる必要がないというより緩い仮定のもとでグローバル収束を達成する。
• 数値実験により、ノルムが増大する非スケーリング輸送を用いる標準的共役勾配法が発散する最小化問題に対しても、本手法は収束することが示された。
• ベクトル輸送におけるノルムの増大という問題を、スケーリングの導入により効果的に緩和でき、降下性が保持された。
• 理論的分析により、スケーリング付き輸送がリーマン設定におけるグローバル収束に必要な条件を維持することが確認された。
• ノイズの多いベクトル輸送を伴うテスト問題において、本手法は既存手法よりもロバスト性に優れている。
• 結果から、実用的なリーマン最適化シナリオにおいて、再スケーリングは収束を保証する上で極めて重要な改善であることが示された。