[論文レビュー] An Introduction to Total Least Squares

Peter De Groen|ArXiv.org|May 18, 1998

Statistical and numerical algorithms参考文献 2被引用数 78

ひとこと要約

この論文は、データ行列と右辺ベクトルの両方が誤差を含む場合に、通常の最小二乗法の自然な一般化として総最小二乗法（TLS）を導入する。列空間と行空間の幾何的洞察を用い、特異値分解（SVD）を用いてTLS問題を解き、誤差がすべてのデータ成分に存在する場合でも、最良のフィットラインや超平面を提供することを示す。また、回帰における切片のような構造的制約を保持するための「凍結」列の取り扱いも可能である。

ABSTRACT

The method of ``Total Least Squares'' is proposed as a more natural way (than ordinary least squares) to approximate the data if both the matrix and and the right-hand side are contaminated by ``errors''. In this tutorial note, we give a elementary unified view of ordinary and total least squares problems and their solution. As the geometry underlying the problem setting greatly contributes to the understanding of the solution, we introduce least squares problems and their generalization via interpretations in both column space and (the dual) row space and we shall use both approaches to clarify the solution. After a study of the least squares approximation for simple regression we introduce the notion of approximation in the sense of ``Total Least Squares (TLS)'' for this problem and deduce its solution in a natural way. Next we consider ordinary and total least squares approximations for multiple regression problems and we study the solution of a general overdetermined system of equations in TLS-sense. In a final section we consider generalizations with multiple right-hand sides and with ``frozen'' columns. We remark that a TLS-approximation needs not exist in general; however, the line (or hyperplane) of best approximation in TLS-sense for a regression problem does exist always.

研究の動機と目的

• データ行列と右辺ベクトルの両方が誤差を含む状況において、通常の最小二乗法の自然な拡張として総最小二乗法（TLS）の定式化を動機づけ、明確化すること。
• 列空間と行空間における二重解釈（双対的アプローチ）を通じて、通常の最小二乗法と総最小二乗法の理解を統合すること。
• 特に過決定系および回帰問題において、特異値分解（SVD）を用いてTLS解がどのように導かれるかを示すこと。
• 特定の列（例：回帰における定数項）が誤差なしに与えられる「凍結」列を含む場合のTLSの拡張。
• 線形回帰および複数の右辺ベクトルを含む文脈において、TLS解が存在する条件を確立すること。

提案手法

• データ行列 A と右辺ベクトル b の両方に生じる摂動行列 (E|r) のフロベニウスノルムを最小化するようにTLS問題を定式化し、b + r が A + E の像に含まれることを条件とする。
• データ点を R^m 内のベクトルとして解釈し、部分空間へのユークリッド距離を最小化することで、直交射影とSVDに基づく解に至る双対的アプローチを用いる。
• 拡大行列 (A|b) のSVDを計算することでTLS解を得る。最小の特異値に対応する右特異ベクトルが最小摂動に対応する。
• 凍結列がある場合、不確実な列を固定された列に対して直交化し、問題を固定部分空間の直交補空間における低次元TLS部分問題に還元する。
• 複数の右辺ベクトルを含む問題に対しては、摂動最小化をブロック行列に拡張し、摂動系のSVDを用いる。
• 固定部分と不確実部分に行列を分解し、固定部分空間の直交補空間における縮小TLS問題を解くことで、一般のTLS問題 A X = B と凍結列を含む解を導出する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、データ行列と右辺ベクトルの両方が測定誤差を含む場合、総最小二乗法（TLS）が通常の最小二乗法のより自然な一般化と見なされるのか？
• RQ2 列空間と行空間における二重解釈を用いることで、TLS解を幾何的にどのように導出し、理解できるのか？
• RQ3 特異値分解（SVD）はTLS解の計算において果たす役割は何か？また、摂動ノルムの最小化とどのように関連しているか？
• RQ4 特定の列（例：回帰における切片列）が誤差なしに与えられる場合、TLSフレームワークはどのように変更され、それらの列を扱えるか？
• RQ5 TLS解が存在する条件は何か？また、データ行列と右辺ベクトルの構造に依存して、その存在性はどのように変化するか？

主な発見

• 回帰問題におけるTLS解は、独立変数と従属変数の両方に誤差が存在する場合でも、常に存在し、誤差がすべての成分に及ぶ状況においても最良のフィットラインまたは超平面を提供する。
• 過決定系 A X = B に対するTLS解は、拡大行列 (A|B) のSVDを計算し、最小の特異値に対応する右特異ベクトルを選択することで得られる。
• 凍結列（例：線形回帰における定数項）を含む問題では、不確実な列を固定列に対して直交化し、直交補空間における縮小TLS問題を解くことで、TLS解を回復できる。
• 行列 A₁（凍結部分）がフルランクでない場合、固定部分 X₁ の解は一意でない。A₁ の核空間の基底を用いた線形結合を加えることで、任意の解に調整可能である。
• TLS定式化では、摂動行列 (E|r) のフロベニウスノルムが最小化され、この最小値は摂動が拡大行列の最小特異値に対応する右特異ベクトルと一致するときに達成される。
• データ点を R^m 内のベクトルとして解釈し、部分空間への距離を最小化する双対的アプローチは、TLS解の幾何的根拠を提供し、通常の最小二乗法と総最小二乗法の理解を統合する。