[論文レビュー] Robustness of Maximum Correntropy Estimation Against Large Outliers

Badong Chen, Lei Xing+3 more|arXiv (Cornell University)|Mar 23, 2017

Advanced Adaptive Filtering Techniques参考文献 11被引用数 6

ひとこと要約

本稿は、任意に大きな外れ値を含む線形誤差変数モデル（EIVモデル）における最大相関コルネルティ度基準（MCC）推定のロバスト性を分析する。推定誤差の上界を導出し、入力および出力の外れ値が非常に深刻であってもMCC推定値が真のパラメータに非常に近いままであることを示している。これは、MSE、LAD、TLS手法と比較してスカラーおよび多次元ケースの両方で優れた性能を示す。

ABSTRACT

The maximum correntropy criterion (MCC) has recently been successfully applied in robust regression, classification and adaptive filtering, where the correntropy is maximized instead of minimizing the well-known mean square error (MSE) to improve the robustness with respect to outliers (or impulsive noises). Considerable efforts have been devoted to develop various robust adaptive algorithms under MCC, but so far little insight has been gained as to how the optimal solution will be affected by outliers. In this work, we study this problem in the context of parameter estimation for a simple linear errors-in-variables (EIV) model where all variables are scalar. Under certain conditions, we derive an upper bound on the absolute value of the estimation error and show that the optimal solution under MCC can be very close to the true value of the unknown parameter even with outliers (whose values can be arbitrarily large) in both input and output variables. Illustrative examples are presented to verify and clarify the theory.

研究の動機と目的

• 最大相関コルネルティ度基準（MCC）の下で、外れ値が最適解に与える影響を理解すること。
• 入力と出力のノイズが存在する単純なスカラー線形誤差変数（EIV）モデルにおけるMCCのロバスト性を分析すること。
• MCCにおける絶対推定誤差の上界を導出し、任意に大きな外れ値が存在しても推定値が真のパラメータに近いまま保たれることを保証すること。
• 具体的な例とモンテカルロシミュレーションを通じて理論的知見を検証すること。
• 多次元ダイナミックシステムへの洞察の拡張を図り、MCCが複雑な設定においてもロバストである可能性を示唆すること。

提案手法

• 入力と出力がノイズで汚されているスカラー線形EIVモデルを定式化し、真のパラメータ $ w_0 $ を推定する。
• 期待相関コルネルティ度 $ \mathbb{E}[\exp(-e^2/(2\sigma^2))] $ を最大化することで最大相関コルネルティ度基準（MCC）を適用し、$ e = d - y $ を誤差とする。
• ノイズの特性とカーネル帯域幅 $ \sigma $ に依存する絶対推定誤差 $ |w_{MCC} - w_0| $ の上界 $ \xi $ を導出する。
• ノイズ分布の仮定（例：モーメントが有界）を用いて、導出された誤差上界の有効性を保証する。
• 外れ値の振幅と発生確率を変化させたモンテカルロシミュレーションを実施し、MCCとMSE、LAD、TLS推定器を比較する。
• 9タップFIRシステムへの応用を通じて、MCCの多次元ダイナミック設定におけるロバスト性をテストする。

実験結果

リサーチクエスチョン

• RQ1 入力および出力変数に任意に大きな外れ値が存在する場合、最大相関コルネルティ度基準（MCC）の下で最適解にどのような影響を与えるか。
• RQ2 スカラーEIVモデルにおけるMCCの下で、推定誤差に理論的に導出可能な上界は何か。
• RQ3 外れ値の振幅と発生確率を変化させた場合、MCCの性能はMSE、LAD、TLSと比べてどのように異なるか。
• RQ4 入力および出力の外れ値が存在する多次元ダイナミックシステムにおいて、MCCはロバスト性を維持できるか。
• RQ5 カーネル帯域幅 $ \sigma $ は、MCC推定におけるロバスト性と精度のトレードオフにどのように影響するか。

主な発見

• 入力および出力の外れ値が任意に大きな振幅であっても、最適なMCC推定値 $ w_{MCC} $ は $ w_0 \pm \xi $ の範囲内に留まる。
• 推定誤差 $ |w_{MCC} - w_0| $ は、導出された上界 $ \xi $ よりも著しく小さいため、強いロバスト性が示される。
• MSE、LAD、TLSの解は外れ値に対して非常に敏感であり、しばしば $ w_0 \pm \xi $ の領域から大きく逸脱する。
• 外れ値発生確率 $ \alpha $ が小さい間はMCCはほぼ不偏であるが、$ \alpha $ が閾値を超えて増加すると性能が急激に低下する。
• カーネル帯域幅 $ \sigma $ が大きくなるにつれてMCC解はMSE解に近づくため、$ \sigma $ を小さくすることで大きな外れ値に対するロバスト性が向上することが確認された。
• 多次元FIRシステムでは、入力および出力の外れ値が存在する状況において、MCCはMSE、LAD、TLSと比較して著しく小さい二乗重み誤差ノルムを達成する。