[論文レビュー] Using Feature Weights to Improve Performance of Neural Networks

Ridwan Al Iqbal|arXiv (Cornell University)|Jan 25, 2011

Neural Networks and Applications参考文献 17被引用数 4

ひとこと要約

本稿では、特徴量と目的変数の間の相関を特徴量の重要性の指標として用い、それを順伝播型ニューラルネットワークの学習プロセスに直接統合する手法、相関支援ニューラルネットワーク（CANN）を提案する。特徴量をその目的変数との相関に応じて重み付けすることで、従来の特徴量選択と学習を分離した二段階的手法と比較して、収束を早め、精度を向上させることができる。

ABSTRACT

Different features have different relevance to a particular learning problem. Some features are less relevant; while some very important. Instead of selecting the most relevant features using feature selection, an algorithm can be given this knowledge of feature importance based on expert opinion or prior learning. Learning can be faster and more accurate if learners take feature importance into account. Correlation aided Neural Networks (CANN) is presented which is such an algorithm. CANN treats feature importance as the correlation coefficient between the target attribute and the features. CANN modifies normal feed-forward Neural Network to fit both correlation values and training data. Empirical evaluation shows that CANN is faster and more accurate than applying the two step approach of feature selection and then using normal learning algorithms.

研究の動機と目的

• すべての特徴量を同等に扱う標準的なニューラルネットワークの非効率性を是正すること。
• 特徴量の重要性に関する事前知識を学習プロセスに組み込むことで、学習速度と精度を向上させること。
• 特徴量選択のステップを別途行う必要をなくし、特徴量重みをニューラルネットワークアーキテクチャに直接埋め込むこと。
• 相関を用いて特徴量重みを統合することで、従来の訓練と特徴量選択のパイプラインに比べて性能が向上するかどうかを評価すること。

提案手法

• CANNは、各特徴量と目的変数の間の相関係数に基づいて得られる特徴量重みを導入することで、標準的な順伝播型ニューラルネットワークを変更する。
• 相関係数は、各入力特徴量と目的属性との間の線形相関として計算され、特徴量の重要性の指標として機能する。
• 誤差逆伝播の過程で、標準的な重みに加えて特徴量重みも更新され、後者は目的変数との相関に応じて調整される。
• 損失関数は、重みが相関値に等しい特徴量の重み付き和を含むように変更され、学習中に重要度の高い特徴量を強調する。
• 明示的な特徴量選択を回避するため、相関を連続的な関連性の指標として用い、すべての特徴量から学習しながらも、重要度の高いものを優先的に処理する。
• 実験的評価では、CANNを二段階的手法（特徴量選択 → 標準的訓練）と比較し、実世界のデータセットを用いて性能と収束速度を測定した。

実験結果

リサーチクエスチョン

• RQ1 相関を用いた特徴量重要度の統合は、ニューラルネットワークの収束速度を向上させることができるか？
• RQ2 相関に基づく特徴量重みを用いることで、すべての特徴量を用いた標準的訓練に比べ、より高い精度が得られるか？
• RQ3 CANNの性能は、特徴量選択の後に標準的ニューラルネットワークを用いた二段階的手法と比較してどうなるか？
• RQ4 相関から得られる連続的特徴量重みは、離散的特徴量選択に比べ、モデルの汎化性能をより効果的に向上させられるか？
• RQ5 ニューラルネットワークの学習プロセスに特徴量重みを統合することは、ネットワークが自ら特徴量の重要性を学習するのと比較して、より効果的か？

主な発見

• CANNは、標準的ニューラルネットワークおよび二段階的特徴量選択アプローチと比較して、学習中により速い収束を達成した。
• テストデータにおける精度が向上し、一般化性能の向上を示した。
• 相関を用いた特徴量重みの統合により、明示的な特徴量選択の必要性が低減され、学習パイプラインが簡素化された。
• 実験的結果から、CANNは複数のデータセットにおいて、二段階法よりも学習速度と最終的なモデル精度の両方で優れた性能を示した。
• 相関を連続的指標として用いることで、バイナリ特徴量選択に比べ、より洗練された効果的な重み付け方式が得られた。
• CANNはノイズが多いまたは関係のない特徴量が存在しても高い性能を維持したため、特徴量の冗長性に対して頑健であることが示された。