[論文レビュー] SDLS: a Matlab package for solving conic least-squares problems

Didier Henrion, Jérôme Malick|ArXiv.org|Sep 17, 2007

Matrix Theory and Algorithms参考文献 2被引用数 6

ひとこと要約

SDLS は、双対準ニュートン最適化を用いて凸錐最小二乗問題を解く、無料で使いやすい MATLAB パッケージである。この手法は、半正定値錐への射影を通じて、与えられた行列の最も近い相関行列を効率的に計算し、正定値性と対角制約を満たすように保証する。滑らかでスケーラブルなアルゴリズムにより、収束モニタリング機能を内蔵している。

ABSTRACT

This document is an introduction to the Matlab package SDLS (Semi-Definite Least-Squares) for solving least-squares problems over convex symmetric cones. The package is shortly presented through the addressed problem, a sketch of the implemented algorithm, the syntax and calling sequences, a simple numerical example and some more advanced features. The implemented method consists in solving the dual problem with a quasi-Newton algorithm. We note that SDLS is not the most competitive implementation of this algorithm: efficient, robust, commercial implementations are available (contact the authors). Our main goal with this Matlab SDLS package is to provide a simple, user-friendly software for solving and experimenting with semidefinite least-squares problems. Up to our knowledge, no such freeware exists at this date.

研究の動機と目的

• 凸対称錐上での半正定値最小二乗問題を解くためのシンプルでオープンソースの MATLAB ツールを提供すること。
• 研究者や実務家が商業ソフトウェアに依存せずに、錐最小二乗最適化を実験できるようにすること。
• 相関行列のキャリブレーションなどの実用的応用を支援すること。具体的には、正定値性と対角制約を回復させること。
• SeDuMi の構文を模倣した透明性が高く、使いやすい実装を提供すること。ただし、目的関数が線形ではなく二次的であるという異なる問題クラスを扱う。
• アクセスしやすい構文と組み込みの収束診断機能を通じて、数値的実験を容易にすること。

提案手法

• 元の錐最小二乗問題の双対問題を準ニュートン BFGS 法で解く。
• 双対目的関数は f(y) = ½‖p_K(c + Aᵀy)‖² − bᵀy であり、p_K は錐 K への直交射影を表す。
• アルゴリズムは MATLAB の組み込み eig 関数を用いて固有値分解を実行し、スパース行列を効率的に処理する。
• 錐 K は、K.f（自由変数）、K.l（非負変数）、K.q（2次錐制約）、K.s（半正定値行列ブロック）のフィールドを持つ構造体で指定される。
• 実装は HANSO の BFGS ソルバを採用しており、数値的安定性のためのオプションの正則化とスケーリングを含む。
• 収束は、残差ノルム norm(A*x - b) を用いてモニタリングされ、これは双対目的関数の勾配ノルムに等しい。

実験結果

リサーチクエスチョン

• RQ1 使いやすい構文を備えたシンプルで無料の MATLAB パッケージを開発し、錐最小二乗問題を解くことは可能か？
• RQ2 実際の応用において、双対準ニュートンアプローチは半正定値最小二乗問題を解くのにどの程度有効か？
• RQ3 SDLS は、対角制約を保持したまま、損傷を受けていた相関行列の正定値性をどの程度回復できるか？
• RQ4 非商業実装において、シンプルさとパフォーマンスの間の数値的トレードオフはどのようなものか？
• RQ5 正則化やスケーリングなどのチューニングパラメータが収束性と解の品質にどのように影響するか？

主な発見

• SDLS は、与えられた行列を、単位対角成分を定義するアフィン部分空間と半正定値錐の交差に射影することで、最も近い相関行列を効果的に計算する。
• 例では、元の行列 C の最小固有値が -0.0349 であり、正定値性の喪失を示していたが、解 X では最小固有値が 3.0097e-16 に回復され、数値的正定値性が確認された。
• アルゴリズムは、残差ノルム norm(A*x - b) が max(1, ||b||) × eps 以下である場合に収束とみなす。デフォルトの相対精度 eps は 1e-6 である。
• 解における勾配ノルム（これは残差ノルムに等しい）は品質指標として用いられ、指定された許容誤差以下であるべきである。
• 正則化（例：pars.reg = 1e-6）は、アフィン制約が錐に接する場合（潜在的な不適切な問題を示唆）に性能を向上させる。
• パッケージは info 構造体を通じて詳細な出力を提供し、関数値、勾配、ヘッセ近似、CPU 時間を含む。これにより、解の検証が可能である。