[論文レビュー] Approximate Regularization Path for Nuclear Norm Based H2 Model Reduction

Niclas Blomberg, Cristian R. Rojas+1 more|arXiv (Cornell University)|Jul 22, 2014

Probabilistic and Robust Engineering Design参考文献 13被引用数 4

ひとこと要約

この論文では、正則化パrameterの変化に伴う核ノルムに基づく $H_2$ モデル低減の近似正則化パスを計算するための効率的なアルゴリズムを提案する。この手法は、解の誤差を制限するために双対ギャップの上界を活用する。固定回数の凸最適化問題を解くことで、正則化パrameterの全範囲にわたる最適解のパスを、保証された許容誤差で近似可能であり、これによりモデル次数の選択が安定し、反復的重み付け戦略の実装が可能になる。

ABSTRACT

This paper concerns model reduction of dynamical systems using the nuclear norm of the Hankel matrix to make a trade-off between model fit and model complexity. This results in a convex optimization problem where this trade-off is determined by one crucial design parameter. The main contribution is a methodology to approximately calculate all solutions up to a certain tolerance to the model reduction problem as a function of the design parameter. This is called the regularization path in sparse estimation and is a very important tool in order to find the appropriate balance between fit and complexity. We extend this to the more complicated nuclear norm case. The key idea is to determine when to exactly calculate the optimal solution using an upper bound based on the so-called duality gap. Hence, by solving a fixed number of optimization problems the whole regularization path up to a given tolerance can be efficiently computed. We illustrate this approach on some numerical examples.

研究の動機と目的

• 核ノルムに基づく $H_2$ モデル低減における最適な正則化パラメータの選定という課題に取り組む。これは、モデル適合度と複雑さのバランスを最適化するために不可欠である。
• 核ノルム最小化における正則化パスの完全な計算に伴う計算コストの高さを克服する。これは、スパース推定技術の非自明な拡張である。
• ユーザーが定めた許容誤差 $\varepsilon$ までに、全正則化パスを近似する計算的に効率的な手法を提供する。これにより、実用的なモデル次数の選択が可能になる。
• 反復的重み付けスキームを支援する。正則化パラメータを近似パスに従って動的に調整することで、核ノルム最小化の反復的最適化を促進する。
• 真の解が計算されたパスの $\varepsilon$-近似領域内にあることを保証するフレームワークを開発する。これにより、全パスの列挙を実施しないまま信頼性を確保できる。

提案手法

• 核ノルム制約付き最適化問題として $H_2$ モデル低減問題を定式化する。$H_2$ 誤差を最小化するが、核ノルムによるランクに類似した制約を導入する。
• 各正則化パラメータ $t$ における、近似解と真の最適解との間の最大誤差を定量化する双対ギャップの上界 $d_t^{\text{max}}$ を導入する。
• 双対ギャップを用いて $\varepsilon$-許容誤差領域を定義する。近似解 $\tilde{g}^*$ に対して、真の解は $[f_t(\tilde{g}^*) - d_t^{\text{max}}, f_t(\tilde{g}^*)]$ の範囲内に存在する。
• 双対ギャップが $\varepsilon$ に達する臨界な $t^*_i$ 値においてのみ正確な解を計算する、適応的アルゴリズムを設計する。これにより、最小限の計算量でグローバルな正確性を保証する。
• 各区間 $(t_{i-1}^*, t_i^*)$ において、核ノルム制約 $\|\mathcal{H}(\tilde{g})\|_* \leq 1$ の下で凸最適化により近似解 $\tilde{g}_i^*$ を計算する。この解は $t_i^*$ にスケーリングされる。
• ハンケル行列 $\mathcal{H}(g)$ の構造と特異値分解を活用し、特異値の減衰をモニタリングすることで、モデル次数を把握する。これにより、ユーザーがシステム次数を決定する際の支援が可能になる。

実験結果

リサーチクエスチョン

• RQ1 核ノルムに基づく $H_2$ モデル低減における正則化パスを、最適化問題の全列挙を実行せずに、どのように効率的に近似できるか？
• RQ2 ユーザーが定めた許容誤差 $\varepsilon$ 以内に真の最適解が近似解に収まるように保証するための誤差バウンディングは何か？
• RQ3 核ノルム最小化における双対ギャップを、必要な正確な最適化回数を制限する停止基準として使用できるか？
• RQ4 提案手法は、反復的重み付けスキームをどのように支援するか？特に、各反復で正則化パラメータを調整する必要がある場合に有効か？
• RQ5 ハンケル行列の特異値の減衰は、近似正則化パスに基づいてモデル次数の選択をどの程度まで支援できるか？

主な発見

• 提案手法は、固定回数の正確な最適化解を用いることで、密度のあるグリッド評価と比較して著しく計算コストを低減した近似正則化パスを計算する。
• 双対ギャップの上界 $d_t^{\text{max}}$ は、真の解が $\varepsilon$-許容誤差領域内に収束することを効果的に保証し、理論的な正確性保証を達成する。
• 数値実験では、近似パスが真のパス（黒色の破線で示す）をよく再現しており、緑色の領域（または影付き領域）が近似の上限および下限を表している。
• 6次系のシステムでは、$t < 0.6$ の範囲で2次近似が特定され、$\mathcal{H}(g^*_i)$ の3番目の特異値の著しい低下により、モデル次数検出が確認された。
• 100次系のシステムでは、複数の特異値の低下が観察され、本手法によりユーザーが望むモデル次数（例：10次）を、パスの挙動に従って選択可能となった。
• 双対ギャップ計算における数値誤差により、$t=0$ の近傍でわずかなずれが生じるが、主に行列の切り捨てと浮動小数点演算に起因する。しかし、全体のパスの正確性に大きな影響を及ぼさない。