[論文レビュー] Mesh Independence of an Accelerated Block Coordinate Descent Method for Sparse Optimal Control Problems

Xiaoliang Song, Bo Chen+1 more|arXiv (Cornell University)|Aug 31, 2017

Matrix Theory and Algorithms参考文献 23被引用数 3

ひとこと要約

本稿は、双対性を用いたスパース最適制御問題の解法として、ヒルバート空間における加速ブロック座標降下法（ABCD）の解析を行う。双対問題および原問題の両方に対して $O(1/k)$ の反復複雑度を確立し、2種類のメッシュ不変性を証明することで、メッシュの細分化に対して漸近的に不変な収束行動を示している。

ABSTRACT

An accelerated block coordinate descent (ABCD) method in Hilbert space is analyzed to solve the sparse optimal control problem via its dual. The finite element approximation of this method is investigated and convergence results are presents. Based on the second order growth condition of the dual objective function, we show that iteration sequence of dual variables has the iteration complexity of $O(1/k)$. Moreover, we also prove iteration complexity for the primal problem. Two types of mesh-independence for ABCD method are proved, which asserts that asymptotically the infinite dimensional ABCD method and finite dimensional discretizations have the same convergence property, and the iterations of ABCD method remain nearly constant as the discretization is refined.

研究の動機と目的

• ヒルバート空間におけるスパース最適制御問題のための加速ブロック座標降下法（ABCD）の収束特性を解析すること。
• ABCD法の有限要素近似を調査し、収束結果を確立すること。
• メッシュ不変性を証明し、無限次元および有限次元の定式化が細分化において同等の収束行動を示すことを示すこと。
• 2次成長条件の下で、双対問題および原問題の反復複雑度の境界を確立すること。

提案手法

• ABCD法がヒルバート空間におけるスパース最適制御問題の双対定式化に適用される。
• 無限次元問題の数値計算を可能にするために、有限要素離散化が用いられる。
• 収束解析は、双対目的関数の2次成長条件に依存する。
• ブロック更新を用いて座標降下ステップを実行し、モーメンタムに類似したメカニズムによって収束を加速する。
• 連続的および離散的定式化間の反復回数と収束速度を比較することで、メッシュ不変性が証明される。
• 変分解析および双対目的関数の性質を用いて、反復複雑度の理論的境界が導出される。

実験結果

リサーチクエスチョン

• RQ1 2次成長条件下で、ABCD法は双対問題および原問題の両方に対して $O(1/k)$ の収束速度を達成するか？
• RQ2 有限要素メッシュを細分化するに従って、ABCD法の収束行動はどのように変化するか？
• RQ3 無限次元ABCD法が、収束の観点から有限次元離散化と漸近的に同等であることを示せるか？
• RQ4 反復回数がメッシュの細分化にかかわらずほぼ一定を保つための条件は何か？
• RQ5 同じ仮定の下で、双対問題と原問題の反復複雑度はどのように関係するか？

主な発見

• 2次成長条件の下で、双対問題の反復列は $O(1/k)$ の収束速度を達成する。
• 原問題に対しても $O(1/k)$ の反復複雑度が示され、加速収束が確認される。
• 2種類のメッシュ不変性が証明された：1つは、無限次元および有限次元の定式化間で収束行動が漸近的に同等であることを示すもの。
• もう1つのメッシュ不変性の結果は、メッシュを細分化しても必要な反復回数がほぼ一定に保たれることを主張する。
• ABCD法は、さまざまな離散化レベルにおいて一貫した収束性能を維持し、メッシュの細分化に対してロバストであることが示された。
• 理論的結果により、ABCD法が双対性を用いたスパース最適制御問題の解法として、効率的かつスケーラブルであることが確認された。