[論文レビュー] Fuzzy Artmap and Neural Network Approach to Online Processing of Inputs with Missing Values

Fulufhelo V. Nelwamondo, Tshilidzi Marwala|arXiv (Cornell University)|May 8, 2007

Fuzzy Logic and Control Systems参考文献 13被引用数 3

ひとこと要約

本論文では、補完や予測を伴わずに、欠損入力をニューラルネットワークで処理するアンサンブルベースでオンラインな手法を提案する。分類にはファジィアートマップを、回帰にはマルチレイヤーパーセプトロン（MLP）を用い、自己符号化ネットワークに遺伝的アルゴリズムを組み合わせた手法と比較して、回帰タスクで最大9%の性能向上を達成した。データ推定の必要がなく、計算コストも低減された。

ABSTRACT

An ensemble based approach for dealing with missing data, without predicting or imputing the missing values is proposed. This technique is suitable for online operations of neural networks and as a result, is used for online condition monitoring. The proposed technique is tested in both classification and regression problems. An ensemble of Fuzzy-ARTMAPs is used for classification whereas an ensemble of multi-layer perceptrons is used for the regression problem. Results obtained using this ensemble-based technique are compared to those obtained using a combination of auto-associative neural networks and genetic algorithms and findings show that this method can perform up to 9% better in regression problems. Another advantage of the proposed technique is that it eliminates the need for finding the best estimate of the data, and hence, saves time.

研究の動機と目的

• ニューラルネットワークにおける欠損値を含む入力のリアルタイムでオンライン処理する手法を開発すること。
• 欠損データの補完や予測の必要を排除し、計算コストと推定誤差を低減すること。
• 欠損データが存在する状況下でも、分類および回帰タスクの性能を向上させること。
• 動的で現実世界の環境において、効率的な状態監視を可能にすること。
• 提案されたアンサンブル手法を、自己符号化ネットワークや遺伝的アルゴリズムといった既存手法と比較すること。

提案手法

• 分類タスクには、オンライン学習と不完全な入力の段階的処理を可能にするファジィアートマップのアンサンブルを用いる。
• 回帰タスクには、欠損値を直接処理できるように訓練されたマルチレイヤーパーセプトロン（MLP）のアンサンブルを採用する。
• 欠損値を入力構造の一部として扱うことで、データ補完を回避し、入力の不確実性を保持する。
• 複数のモデルの出力をアンサンブルすることで、欠損データが存在する状況でも、より頑健で汎化性の高い性能を実現する。
• オンライン運用を想定した設計となっており、リアルタイムな状態監視応用をサポートする。
• 性能は、自己符号化ニューラルネットワークと遺伝的アルゴリズムを組み合わせたハイブリッド手法と比較して評価される。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルベースのニューラルネットワーク手法は、補完なしにリアルタイムで欠損値を含む入力を効果的に処理できるか？
• RQ2 提案手法の性能は、補完に基づくアプローチと比較して、回帰および分類タスクでどのように異なるか？
• RQ3 データ推定の必要を排除することで、計算効率とモデルの正確性が向上するか？
• RQ4 ファジィアートマップとMLPのアンサンブルは、入力に欠損値が含まれても高い正確性を維持できるか？
• RQ5 自己符号化ネットワークに遺伝的アルゴリズムを組み合わせた手法と比較して、提案手法の相対的改善度は何か？

主な発見

• 提案手法は、自己符号化ネットワークと遺伝的アルゴリズムを組み合わせた手法と比較して、回帰問題において最大9%の性能向上を達成した。
• アンサンブル手法により、欠損データの推定や補完の必要がなくなり、処理時間の短縮と推定誤差の回避が可能になった。
• 段階的学習とリアルタイム処理の能力のおかげで、オンライン状態監視に有効である。
• ファジィアートマップのアンサンブルは、入力が不完全であっても、頑健な分類性能を示した。
• MLPアンサンブルは、データ補完を必要とせず、高い回帰精度を維持した。
• 欠損入力が存在する状況下でも、分類および回帰タスクの両方で、優れた汎化性と安定性を示した。