[論文レビュー] Robust artificial neural networks and outlier detection. Technical report

Gleb Beliakov, Andrei Kelarev+1 more|arXiv (Cornell University)|Oct 2, 2011

Advanced Statistical Methods and Models参考文献 54被引用数 12

ひとこと要約

本稿では、外れ値を含む非線形回帰において外れ値を適切に扱うために、罰則付き最小トレuncated平方和（PCLTS）基準を用いた頑健な人工ニューラルネットワーク（ANN）学習手法を提案する。初期学習に微分フリー最適化を組み合わせるとともに、有効なデータの過剰な削除を防ぐ罰則項を導入することで、外れ値の検出精度とモデルの正確性が向上し、特に高い汚染度条件下でも標準LTSを上回る性能を発揮する。

ABSTRACT

Large outliers break down linear and nonlinear regression models. Robust regression methods allow one to filter out the outliers when building a model. By replacing the traditional least squares criterion with the least trimmed squares criterion, in which half of data is treated as potential outliers, one can fit accurate regression models to strongly contaminated data. High-breakdown methods have become very well established in linear regression, but have started being applied for non-linear regression only recently. In this work, we examine the problem of fitting artificial neural networks to contaminated data using least trimmed squares criterion. We introduce a penalized least trimmed squares criterion which prevents unnecessary removal of valid data. Training of ANNs leads to a challenging non-smooth global optimization problem. We compare the efficiency of several derivative-free optimization methods in solving it, and show that our approach identifies the outliers correctly when ANNs are used for nonlinear regression.

研究の動機と目的

• 外れ値によって汚染されたデータ上での人工ニューラルネットワークの学習という課題に取り組み、これがモデル性能を著しく低下させることを防ぐ。
• 有効なデータポイントを無闇に破棄しないように、外れ値を特定・除外する頑健な学習基準の開発。
• 外れ値や混合現象を含む現実世界のデータ環境において、ニューラルネットワークモデルの信頼性を向上させること。
• 微分フリー手法とバックプロパゲーションを組み合わせたハイブリッド最適化フレームワークを設計し、滑らかでない非凸の目的関数に対しても効率的かつ正確な学習を実現すること。
• 頑健なANN学習に伴う滑らかでないグローバル最適化問題を解くために、複数の微分フリー最適化アルゴリズムの性能を評価・比較すること。

提案手法

• 標準の最小トレuncated平方和（LTS）目的関数に罰則項を追加することで、有効なデータの削除を抑制する、罰則付き最小トレuncated平方和（PCLTS）基準を提案する。
• ハイブリッド学習戦略を採用：まず微分フリー最適化法を用いて全データ上でANNを初期学習し、潜在的な外れ値を特定する。その後、有効なデータを保持し、バックプロパゲーションによるファインチューニングを実施する。
• 残差に基づくしきい値処理機構を適用し、データを外れ値またはインライナーに分類する。PCLTS基準は、最適適合サブセットにおける残差の二乗和を最小化するとともに、過剰な削除を罰則する。
• 滑らかでないグローバル最適化問題を解くために、3つの微分フリー最適化アルゴリズム（Nelder-Mead、Hooke-Jeeves、および修正版パターン探索）を用いる。
• PCLTS定式化において、データ削除に対する罰則を制御するパラメータCとBを導入し、頑健性とデータ保持のトレードオフを可能にする。
• 複数の合成データセット（異なるノイズレベルと外れ値比率を想定）を用いて手法を検証し、標準LTSおよび標準ANN学習と比較する。

実験結果

リサーチクエスチョン

• RQ1 標準LTSでは頻繁に発生する有効なデータポイントの過剰な削除を、PCLTS基準が効果的に抑制できるか？
• RQ2 滑らかでないPCLTS目的関数下でANNを学習する際、異なる微分フリー最適化手法の性能はどのように比較できるか？
• RQ3 高い汚染度（例：20％の外れ値）下でも、PCLTSに基づく学習がモデルの正確性と頑健性をどの程度向上させるか？
• RQ4 初期に頑健な学習を実施し、その後クリーンデータ上でバックプロパゲーションを実行するハイブリッド学習アプローチは、標準最小二乗法やLTSを用いたエンドツーエンド学習に比べ、より優れた一般化性能を示すか？
• RQ5 PCLTSは、複雑な非線形データにおいて、外れ値を正しく同定・除外しつつ、元の関数的構造を適切に保持できるか？

主な発見

• PCLTS基準は、特にデータ密度が高く、曲率が複雑な領域で、標準LTSが抱える有効なデータの過剰な削除を効果的に防止した。
• 20％の外れ値と0.2のノイズレベルを有するデータセットでは、PCLTSは5つの隠れニューロンを用いて平均二乗誤差229.90を達成し、有効なデータを近位の最小値付近で削除してしまうため性能が低下する標準LTSを著しく上回った。
• 5つの隠れニューロンを有するデータセット10では、PCLTSはテスト誤差217.86を達成したが、同じアーキテクチャでLTSを適用した場合、誤った外れ値の削除により真の関数をモデル化できなかった。
• PCLTS最適化による初期頑健な学習に続いてバックプロパゲーションを実施するハイブリッド学習アプローチは、汚染済みデータ上で直接バックプロパゲーションを実行する手法よりも、より正確で安定したモデルを生成した。
• 検証された微分フリー手法の中で、修正版パターン探索アルゴリズムが滑らかでないPCLTS目的関数の最適化において優れた収束性と安定性を示した。
• 複数のデータセットにおける可視化比較により、PCLTSの予測は高汚染度下でも真の関数に忠実に従った一方、標準LTSおよび標準ANN学習は歪んだフィットを示した。