[論文レビュー] L1-Optimal Splines for Outlier Rejection

Masaaki Nagahara, Clyde F. Martin|arXiv (Cornell University)|Aug 2, 2013

Mathematical Approximation and Integration参考文献 14被引用数 5

ひとこと要約

本稿では、データフィッティングにおけるロバストな外れ値除去のためのL¹最適制御理論的スプラインを提案する。従来のL²最適化に代わり、L¹ベースの回帰を用いることで、重い尾を持つノイズ分布に対処する。スプライン推定をサポートベクターレグRESSION（SVR）にインspiredした凸最適化問題として定式化することにより、外れ値に対して顕著な耐性を示す。数値例では、異常なデータポイントが存在する状況で、L¹最適化スプラインがL²最適化スプラインを顕著に上回ることを示している。

ABSTRACT

In this article, we consider control theoretic splines with L1 optimization for rejecting outliers in data. Control theoretic splines are either interpolating or smoothing splines, depending on a cost function with a constraint defined by linear differential equations. Control theoretic splines are effective for Gaussian noise in data since the estimation is based on L2 optimization. However, in practice, there may be outliers in data, which may occur with vanishingly small probability under the Gaussian assumption of noise, to which L2-optimized spline regression may be very sensitive. To achieve robustness against outliers, we propose to use L1 optimality, which is also used in support vector regression. A numerical example shows the effectiveness of the proposed method.

研究の動機と目的

• 従来のL²最適化スプラインがデータ内の外れ値に対して感受性が高いため、その問題を解決すること。
• 特にラプラス分布のような重い尾を持つ分布を伴う非ガウス分布ノイズ下でも、スプライン回帰のロバスト性を向上させること。
• 外れ値への耐性を高めるためにL¹最適化を活用する制御理論的スプラインフレームワークを構築すること。
• サポートベクターレグRESSIONに類似した方法により、数値的に取り扱いやすい凸最適化による解法を提供すること。

提案手法

• 残差にL¹ノルムを用いることで、標準的なL²ノルムに代えて、スプライン推定を凸最適化問題として定式化する。
• サポートベクターレグRESSIONにインspiredして、重い尾を持つノイズをモデル化するためのε-感度損失関数を導入する。
• コスト関数を、係数ベクトルのL²ノルムとε-感度損失の和のトレードオフとして定義する。
• 制御入力を、システムのインパulse応答から導かれる基底関数の線形結合として表現する。
• 予測誤差にε-感度バインディングを課す制約条件を含めた、得られた最適化問題を、標準的な凸最適化技術で解く。
• 最適係数の効率的計算を可能にするために、基底関数の内積を符号化するグラミアン行列Gを用いる。

実験結果

リサーチクエスチョン

• RQ1 L¹最適化は、外れ値が存在する状況において、制御理論的スプラインのロバスト性を向上させることができるか？
• RQ2 外れ値がデータに存在する場合、L¹ベースのスプライン回帰は、従来のL²ベースの回帰と比べてどのように異なるか？
• RQ3 ε-感度損失関数の使用が、スプラインフィッティングの安定性と精度に与える影響は何か？
• RQ4 提案手法は、凸最適化技術を用いて効率的に解けるか？

主な発見

• 数値例において、提案されたL¹最適スプラインは、L²最適スプラインと比較して著しく外れ値への感受性が低減していることが示された。
• t₇ = 1.6に1つの外れ値が存在する状況で、L²最適スプラインは大きな回帰誤差を生じたが、L¹最適スプラインは真の元の曲線に近いフィットを維持した。
• 汚染されたデータでさえも、L¹最適スプラインは真の信号 y(t) = sin(2t) の滑らかでより正確な再構成を達成した。
• L¹最適手法の回帰誤差は、外れ値付近を含め、すべてのデータポイントで低く安定していた。