[論文レビュー] Margin-Based Feed-Forward Neural Network Classifiers

Han Xiao, Xiaoyan Zhu|arXiv (Cornell University)|Jun 11, 2015

Neural Networks and Applications参考文献 8被引用数 3

ひとこと要約

この論文は、スパースなラベル付きデータにおいても一般化性能と精度を向上させる、フィードフォワードニューラルネットワーク向けの新しいマージンに基づく学習アルゴリズムを提案する。特徴抽象化に最小マージン原理、分類に最大マージン原理を適用することで、従来のワイドロウ＝ホフバックプロパゲーションに比べ、構造的変更を最小限に抑えつつ性能を向上させる。

ABSTRACT

Margin-Based Principle has been proposed for a long time, it has been proved that this principle could reduce the structural risk and improve the performance in both theoretical and practical aspects. Meanwhile, feed-forward neural network is a traditional classifier, which is very hot at present with a deeper architecture. However, the training algorithm of feed-forward neural network is developed and generated from Widrow-Hoff Principle that means to minimize the squared error. In this paper, we propose a new training algorithm for feed-forward neural networks based on Margin-Based Principle, which could effectively promote the accuracy and generalization ability of neural network classifiers with less labelled samples and flexible network. We have conducted experiments on four UCI open datasets and achieved good results as expected. In conclusion, our model could handle more sparse labelled and more high-dimension dataset in a high accuracy while modification from old ANN method to our method is easy and almost free of work.

研究の動機と目的

• ワイドロウ＝ホフ原理に基づいて学習される従来のフィードフォワードニューラルネットワークの一般化能力の制限を解消すること。
• 少数のラベル付きサンプルと高次元性を示すデータセットにおける性能を向上させること。
• マージンに基づく原理をニューラルネットワークの特徴抽象化段階および分類段階の両方に統合すること。
• 標準的なバックプロパゲーションネットワークから提案されたマージンに基づくフレームワークへのシームレスな移行を可能にし、実装コストをほぼゼロに近づけること。

提案手法

• フィードフォワードニューラルネットワークを2段階に分解する：特徴抽象化（入力層から隠れ層）と分類（隠れ層から出力層）。
• 特徴抽象化段階に最小マージン原理を適用し、回帰誤差を最小化し、特徴表現を改善する。
• 分類段階に最大マージン原理を適用し、構造的リスクを最小化し、意思決定境界の分離を強化する。
• 両原理を統合した最適化問題に統合し、マージンに基づく目的関数を用いてネットワークを同時に学習する。
• 得られた最適化問題を解くための新しい学習アルゴリズムを開発し、標準的な二乗誤差バックプロパゲーションとは異なる。
• 推論およびネットワークアーキテクチャを標準的なANNと同一に維持し、性能向上を実現するためのドロップインリプレースが可能になる。

実験結果

リサーチクエスチョン

• RQ1 ワイドロウ＝ホフバックプロパゲーションと比較して、マージンに基づく原理はフィードフォワードニューラルネットワークの一般化性能と精度を向上させることができるか？
• RQ2 特徴抽象化段階に最小マージン原理を適用することで、データが少ない状況下での表現学習が向上するか？
• RQ3 分類段階に最大マージン原理を適用することで、スパースデータセットにおけるロバストネスと性能が向上するか？
• RQ4 提案手法は、既存のニューラルネットワークコードベースにどの程度簡単に統合可能か？

主な発見

• 提案されたマージンに基づく学習アルゴリズムは、標準的なバックプロパゲーション（ANN）と比較して、特にスパースラベル付きデータセットにおいて顕著に優れた精度を達成する。
• ラベル付きデータがたった3.33％のISOLETデータセットにおいて、テストされたすべての隠れノード数設定で、モデルはANNを上回る精度を達成した。
• すべてのデータセットでSVM-RBFを上回り、最小マージンに基づく抽象化がカーネル法よりもデータの多様体構造をより効果的に捉えていることを示した。
• AdaBoostを上回ったことから、最大マージンに基づく分類が複雑な意思決定境界を効果的に処理できることを確認した。
• 適切な隠れノード数が存在し、その数で性能がピークに達する。ノード数が多すぎると過学習が発生し、少なすぎると未学習が生じる。
• 提案手法により、標準的なANNからマージンに基づく学習への移行が、推論やアーキテクチャの変更なしにほぼ即座に可能になる。