[論文レビュー] Geometric Optimization Methods for Adaptive Filtering

Steven T. Smith|arXiv (Cornell University)|May 8, 2013

Advanced Adaptive Filtering Techniques参考文献 27被引用数 140

ひとこと要約

本稿では、球面、Stiefel多様体、Grassmann多様体などの多様体上で、リーマン幾何的最適化手法——特にリーマン多様体上のニュートン法と共役勾配法——を用いて、適応フィルタリングにおける固有値問題と特異値問題を解く手法を提案する。共役勾配法は対称空間上で超線形収束を示し、1ステップあたり$O(nk^2)$の演算と$O(k)$の行列-ベクトル乗算を要する。数値実験により、294次元の多様体上でも50反復以内に機械精度に収束することが確認された。

ABSTRACT

The techniques and analysis presented in this thesis provide new methods to solve optimization problems posed on Riemannian manifolds. These methods are applied to the subspace tracking problem found in adaptive signal processing and adaptive control. A new point of view is offered for the constrained optimization problem. Some classical optimization techniques on Euclidean space are generalized to Riemannian manifolds. Several algorithms are presented and their convergence properties are analyzed employing the Riemannian structure of the manifold. Specifically, two new algorithms, which can be thought of as Newton's method and the conjugate gradient method on Riemannian manifolds, are presented and shown to possess quadratic and superlinear convergence, respectively. These methods are applied to several eigenvalue and singular value problems, which are posed as constrained optimization problems. ...

研究の動機と目的

• リーマン多様体上の制約付き最適化問題に向けた効率的な最適化アルゴリズムの開発、特に適応信号処理分野における応用を目的とする。
• 古典的な最適化手法——ニュートン法と共役勾配法——を、球面やStiefel多様体などのリーマン多様体へ一般化することを目的とする。
• Stiefel多様体上の制約付き最適化問題として部分空間追跡問題を定式化し、それを解くこと。
• 反復的更新の過程で推定固有ベクトルの正規直交性を維持し、数値的安定性を確保すること。
• 時間変動する行列、特に部分空間の向きや固有値に不連続な変化が生じる状況下での収束性および追跡性能を評価すること。

提案手法

• 球面やStiefel多様体などのリーマン多様体上での制約付き最適化問題として、固有値問題と特異値問題を定式化する。
• 球面上のレイリー商に対するリーマン多様体上のニュートン法を適用し、立方収束を示し、レイリー商反復と同等であることを示す。
• 対称空間上でのリーマン共役勾配法を提案し、測地線の流れと平行移動を用いて多様体の構造を保持する。
• Stiefel多様体の同次空間構造を活用し、1反復あたり$O(nk^2)$の演算と$O(k)$の行列-ベクトル積を要する効率的なアルゴリズムを導出する。
• 部分空間追跡の目的関数として、Stiefel多様体上での一般化レイリー商を用いる。
• 時間変動する対称行列を用いた数値実験により、部分空間の向きや固有値に急激な変化が生じる状況下での収束性および追跡挙動を評価する。

実験結果

リサーチクエスチョン

• RQ1 球面上でのリーマンニュートン法がレイリー商を最適化する際に立方収束を達成できるか。また、レイリー商反復とはどのように関係するか。
• RQ2 対称空間上でのリーマン共役勾配法は、対称行列の$k$個の極端固有ベクトルを計算する際に超線形収束を示すか。
• RQ3 Stiefel多様体上でのリーマン共役勾配法を部分空間追跡に実装する際、その計算効率はどの程度で、計算複雑度はいかなるものか。
• RQ4 部分空間が急激に回転して直交平面に移行する、または最大値から鞍点に移行するような状況下で、アルゴリズムの性能はいかがであるか。
• RQ5 アルゴリズムは反復の全過程で推定部分空間基底の正規直交性を維持できるか。その影響は数値的安定性にどのように現れるか。

主な発見

• 球面上のレイリー商にリーマンニュートン法を適用した場合、立方収束を達成し、レイリー商反復はこの手法の効率的な近似であることが示された。
• 球面上のレイリー商にリーマン共役勾配法を適用した結果、極端固有ベクトルを計算する新しいアルゴリズムが得られ、1反復あたり$O(n)$の演算で超線形収束を示した。
• Stiefel多様体上での$k$個の極端固有ベクトル問題に対して、アルゴリズムは1ステップあたり$O(nk^2)$の演算と$O(k)$の行列-ベクトル乗算を要し、294次元の多様体上でも50反復以内に機械精度に収束した。
• 数値実験の結果、共役勾配法の再初期化を不連続な部分空間変化後に実施した場合、20ステップ未満で機械精度に収束することが確認された。
• 回転する部分空間の追跡シナリオでは、固有値が固定または変化する状況に応じて、10～25反復未満で正確な固有値推定が達成された。
• 真の最大値が鞍点に移行した場合、アルゴリズムは約15反復にわたり解の周辺に留まり続け、一時的な変化に対しても頑健であることが示された。