[論文レビュー] Direct Methods for Solving Positive Definite Total Least Squares Problems Using Orthogonal Matrix Decompositions

Negin Bagherpour, Nezam Mahdavi‐Amiri|arXiv (Cornell University)|Jul 5, 2014

Statistical and numerical algorithms参考文献 15被引用数 2

ひとこと要約

本稿では、データ行列と目的行列の両方の誤差を考慮する新しい誤差関数を最小化することで、正定値全最小乗法問題を直接解く手法を提案する。直交行列分解を用いることで、反復最適化を必要とせず直接解を計算し、内点法や二次計画法と比較して誤差の標準偏差が低く、有効ランクも低い結果を得た。

ABSTRACT

The need to estimate a positive definite solution to an overdetermined linear system of equations with multiple right hand side vectors arises in several process control contexts. The coefficient and the right hand side matrices are respectively named data and target matrices. A number of optimization methods were proposed for solving such problems, in which the data matrix is unrealistically assumed to be error free. Here, considering error in measured data and target matrices, we present an approach to solve a positive definite constrained linear system of equations based on the use of a newly defined error function. To minimize the defined error function, we derive necessary and sufficient optimality conditions and outline a direct algorithm to compute the solution. We provide a comparison of our proposed approach and two existing methods, the interior point method and a method based on quadratic programming. Two important characteristics of our proposed method as compared to the existing methods are computing the solution directly and considering error both in data and target matrices. Moreover, numerical test results show that the new approach leads to smaller standard deviations of error entries and smaller effective rank as desired by control problems. Furthermore, in a comparative study, using the Dolan-More performance profiles, we show the approach to be more efficient.

研究の動機と目的

• 複数の右辺を持つ過剰決定線形システムにおいて、従来手法がデータ行列に誤差なしを仮定しているという制限を解決すること。
• データ行列と目的行列の両方の不確実性を考慮する新しい誤差関数を定式化すること。
• 反復的最適化に依存せずに正定値解を直接計算するアルゴリズムを開発すること。
• 新しい誤差関数から導かれる必要十分最適性条件を満たす解を保証すること。
• 既存手法と比較して、誤差分布および有効ランクの観点から、数値的性能が向上することを示すこと。

提案手法

• データ行列および目的行列の摂動を考慮した全最小乗法誤差を定量化する新しい誤差関数を定義する。
• 正定値制約の下で、提案誤差関数を最小化するための必要十分最適性条件を導出する。
• 直交行列分解（例：QRやSVDに類似した構造）を用いて、問題を直接計算可能な形に変換する。
• 反復的収束ステップを必要としない一括処理による直接アルゴリズムを構築する。
• 直交分解フレームワーク内での制約付き最適化により、解の正定値性を強制する。
• 解の過程における直交変換の構造を活用することで、数値的安定性と効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 データ行列と目的行列の両方に測定誤差を含む過剰決定線形システムにおいて、正定値解をどのように計算できるか。
• RQ2 このようなシステムにおいて、データ行列と目的行列の両方の不確実性を適切に反映する誤差関数の形は何か。
• RQ3 新しい誤差関数の最適性条件から、反復ソルバーを避ける直接的アルゴリズムを導出できるか。
• RQ4 誤差分布および有効ランクの観点から、提案手法は内点法および二次計画法アプローチと比較して、精度と効率に優れているか。
• RQ5 プロセス制御応用で求められるように、新しい手法は誤差要素の標準偏差を小さくし、有効ランクを低くするか。

主な発見

• 提案手法は、内点法や二次計画法で用いられる反復的修正ステップを回避し、正定値解を直接計算する。
• 数値実験の結果、既存手法と比較して誤差要素の標準偏差が小さいことが示された。
• 本手法は解の有効ランクを低く抑えることができ、制御システム設計において望ましい。
• Dolan-Moreフレームワークを用いたパフォーマンスプロファイルでは、提案手法が内点法および二次計画法の両方を上回る効率性を示した。
• 導出された最適性条件は必要十分であり、誤差関数のグローバル最小値への収束を保証する。