[論文レビュー] Optimisation Geometry

Jonathan H. Manton|arXiv (Cornell University)|Dec 8, 2012

Advanced Optimization Algorithms Research参考文献 12被引用数 6

ひとこと要約

本稿では、パラメータ化されたコスト関数の族のグローバルな幾何構造を活用することで、効率的なリアルタイム最適化を可能にする「最適化幾何学」——というフレームワークを導入する。このフレームワークでは、族をファイバー束とみなして、事前に計算された経路に 沿ったホモトピー続行を用いることで、個々の関数が非凸的または最適化が困難であっても、高速かつ信頼性の高い最小化を実現する。計算複雑性は個々の関数の難易度ではなく、族の位相的構造に依存する。

ABSTRACT

This article demonstrates how an understanding of the geometry of a family of cost functions can be used to develop efficient numerical algorithms for real-time optimisation. Crucially, it is not the geometry of the individual functions which is studied, but the geometry of the family as a whole. In some respects, this challenges the conventional divide between convex and non-convex optimisation problems because none of the cost functions in a family need be convex in order for efficient numerical algorithms to exist for optimising in real-time any function belonging to the family. The title "Optimisation Geometry" comes by analogy from the study of the geometry of a family of probability distributions being called information geometry.

研究の動機と目的

• 古典的な凸／非凸の二分法を超える、リアルタイム最適化の理論を構築すること。その焦点はコスト関数の族全体の幾何構造に置かれる。
• リアルタイム信号処理における最適化問題を、各新しいパラメータ値に対して迅速に新たなコスト関数を解くという課題に取り組むこと。
• リアルタイム最適化の内在的計算複雑性が、個々の関数の難易度ではなく、コスト関数の族の位相的および幾何的構造によって決定されることを示すこと。
• 臨界点の経路の事前計算と経路追跡用のルックアップテーブルを用いて、効率的な数値アルゴリズムを可能にすること。

提案手法

• パラメータ空間 Θ と解空間 X が滑らかな多様体であり、f:X×Θ→ℝ が滑らかであるとみなすことで、リアルタイム最適化をファイバー束最適化問題として定式化する。
• 有限個のパラメータ値 θ_i ∈ Θ に対して最小値 x_i を事前に計算し、ホモトピー続行の初期条件として保存する。
• 新しい θ が与えられた場合、最も近い θ_i を選択し、θ_i から θ への経路に沿ってホモトピー続行を実行し、ニュートンステップによって最小値を追跡する。
• 命題22から得られるニュートンステップの事前計算済みバウンドを用いることで、高精度の中間解を必要とせずに、保証された領域内で収束を確保する。
• パラメータ空間 Θ が多様体である場合に備えて、局所座標とチャート遷移を用いることで、座標依存の曖昧さを回避する。
• 臨界点の円周の数やそれらの連結数といった位相的不変量を活用し、内在的複雑性を特徴づけ、追跡すべき経路の数を削減する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム最適化の計算複雑性は、個々のコスト関数の凸性や難易度ではなく、関数族のグローバルな幾何構造によって決定されるのだろうか？
• RQ2 個々の関数が非凸的または最適化が困難な場合でも、パラメータ θ の変化に伴いコスト関数の最小値を効率的に追跡するためにホモトピー続行をどのように用いることができるか？
• RQ3 パラメータ空間の位相的性質とファイバー束構造が、リアルタイム最適化問題の内在的複雑性をどのように決定するか？
• RQ4 滑らかな変換によって、外的幾何的フラクチュエーション（例えば、臨界点経路における局所的変動）を除去しても、問題の真の計算複雑性は変化しないのだろうか？
• RQ5 連結数やウィンディング数などの位相的不変量を用いることで、臨界点経路の数をどの程度まで削減できるか？

主な発見

• リアルタイム最適化の内在的複雑性は、臨界点の円周の数やそのパラメータ多様体上でのウィンディングまたは連結の挙動といった位相的不変量に符号化されている。
• 個々のコスト関数が非凸的または最小化が困難であっても、関数族に滑らかで構造的な幾何がある限り、効率的なリアルタイムアルゴリズムが存在する。
• 事前に計算されたルックアップテーブルを用いることで、経路に沿って最小値を追跡するためのニュートンステップの数を事前にバウンドでき、高速収束を保証できる。
• 位相的制約を用いることで、グローバル最小値経路を一意に特定でき、複数の候補を追跡するのではなく、1本の経路のみを追跡すればよい。
• 滑らかな変換により、外的幾何的複雑性（例：臨界点経路における局所的フラクチュエーション）を除去しても、内在的複雑性は変化せず、真の計算困難性が明らかにされる。
• この理論により、ファイバー束の位相に基づくリアルタイム最適化問題の複雑性分類が可能となり、トーラスの例では、複雑性が2つの整数（円周の数とウィンディング数）で記述されることを示している。