[論文レビュー] L1-norm Error Function Robustness and Outlier Regularization

Chris Ding, Bo Jiang|arXiv (Cornell University)|May 28, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用数 10

ひとこと要約

本論文は、外れ値が存在する状況下でのL1ノルム誤差関数の頑健性を説明するための外れ値正則化フレームワークを導入する。外れ値を独立してモデル化し、L1の連続的同等物を用いることで、特異値の抑制を回避し、小さな高ランク成分を保持し、トレースノルムに基づく手法よりも計算効率の高い新しい頑健PCA（ORPCA）が可能になる。

ABSTRACT

In many real-world applications, data come with corruptions, large errors or outliers. One popular approach is to use L1-norm function. However, the robustness of L1-norm function is not well understood so far. In this paper, we present a new outlier regularization framework to understand and analyze the robustness of L1-norm function. There are two main features for the proposed outlier regularization. (1) A key property of outlier regularization is that how far an outlier lies away from its theoretically predicted value does not affect the final regularization and analysis results. (2) Another important feature of outlier regularization is that it has an equivalent continuous representation that closely relates to L1 function. This provides a new way to understand and analyze the robustness of L1 function. We apply our outlier regularization framework to PCA and propose an outlier regularized PCA (ORPCA) model. Comparing to the trace-normbased robust PCA, ORPCA has several benefits: (1) It does not suffer singular value suppression. (2) It can retain small high rank components which help retain fine details of data. (3) ORPCA can be computed more efficiently.

研究の動機と目的

• 外れ値が存在する状況下でのL1ノルム誤差関数の頑健性を理解すること。これは実務において依然として十分に理解されていない。
• 外れ値モデリングをコアなデータフィッティングから分離する新しい外れ値正則化フレームワークを開発すること。
• 外れ値汚染下でのL1ノルム行動の連続的で解析可能な表現を提供すること。
• このフレームワークをPCAに適用し、構造的および計算的性質に優れた新しい頑健PCAモデル（ORPCA）を導出すること。
• 特異値の抑制や微細な詳細の損失を引き起こすトレースノルムに基づく頑健PCAの限界を克服すること。

提案手法

• 各データポイントをクリーン成分と外れ値成分に分解し、外れ値を独立してモデル化する外れ値正則化フレームワークを導入する。
• 外れ値の偏差の大きさをペナルティ化する正則化項を定義し、その予測値からの距離に依存しないようにする。
• 外れ値正則化フレームワークを通じてL1ノルム関数の連続的同等表現を確立し、解析的取り扱いを可能にする。
• 外れ値正則化をPCA目的関数に統合することで、外れ値正則化PCA（ORPCA）モデルを定式化する。
• 低ランク成分と外れ値成分を交互に更新するアルゴリズムを用いて、ORPCA最適化問題を解く。
• 設計上、特異値の抑制を回避し、小さな高ランク成分を保持することを示す。

実験結果

リサーチクエスチョン

• RQ1 L1ノルム誤差関数が外れ値に対してなぜ頑健なのか、その背後にあるメカニズムは何か？
• RQ2 外れ値の大きさに依存せずに、外れ値の影響を安定した正則化が可能になるようにモデリングできるか？
• RQ3 外れ値正則化を用いてL1ノルムの連続的表現を導出できるか、解析的理解を向上できるか？
• RQ4 提案されたORPCAモデルは、データ構造の保持と計算効率の面でトレースノルムに基づく頑健PCAを上回るか？
• RQ5 ORPCAは、従来の頑健PCA手法でしばしば抑制される小さな高ランク成分を保持できるか？

主な発見

• 提案された外れ値正則化フレームワークは、外れ値が予測値からの距離に依存しない形で、L1ノルムの頑健性を理解するための新たな解析的基盤を提供する。
• フレームワークの連続的同等物はL1ノルムに非常に近い近似を示し、厳密な解析と最適化を可能にする。
• ORPCAは特異値の抑制を回避し、データに存在する小さなが情報価値の高い高ランク成分を保持する。
• ORPCAは、トレースノルムに基づく頑健PCA手法でしばしば失われる微細な詳細を維持する。
• ORPCAモデルは最適化構造のおかげで、トレースノルムに基づく代替手法よりも計算的に効率的である。
• 実験結果により、ORPCAが外れ値の処理において既存の頑健PCA手法を上回り、データの忠実性を保持していることが確認された。