[論文レビュー] A neural network approach to ordinal regression

Jianlin Cheng|ArXiv.org|Apr 8, 2007

Neural Networks and Applications参考文献 31被引用数 6

ひとこと要約

本稿では、順序回帰のための新しいニューラルネットワーク手法であるNNRankを提案する。この手法は、順序付きカテゴリをモデル化するための複数出力ノードを備えた多層ネットワークにパーセプトロン法を一般化したものであり、標準的な分類用ニューラルネットワークよりも優れた性能を発揮し、SVM やガウス過程と同等の結果を得るとともに、オンライン学習およびバッチ学習により大規模データ上で高速な学習と推論を実現する。

ABSTRACT

Ordinal regression is an important type of learning, which has properties of both classification and regression. Here we describe a simple and effective approach to adapt a traditional neural network to learn ordinal categories. Our approach is a generalization of the perceptron method for ordinal regression. On several benchmark datasets, our method (NNRank) outperforms a neural network classification method. Compared with the ordinal regression methods using Gaussian processes and support vector machines, NNRank achieves comparable performance. Moreover, NNRank has the advantages of traditional neural networks: learning in both online and batch modes, handling very large training datasets, and making rapid predictions. These features make NNRank a useful and complementary tool for large-scale data processing tasks such as information retrieval, web page ranking, collaborative filtering, and protein ranking in Bioinformatics.

研究の動機と目的

• ニューラルネットワークの利点（オンライン学習やスケーラビリティなど）を保ちつつ、順序回帰のためのニューラルネットワークベースの手法を開発すること。
• 既存の順序回帰手法の限界（予測が遅く、スケーラビリティに欠けること）を、順序付き分類に適応した多層パーセプトロンによって是正すること。
• 出力確率が順序付きカテゴリに対して単調減少となるように保ちつつ、パーセプトロン手法を多層アーキテクチャに一般化すること。
• 非常に大規模なデータセットにおいても、迅速な予測と学習が可能となるようにすることにより、ウェブランクイングやバイオインフォマティクスなどのリアルタイム・スケーラブルな応用に適した手法を提供すること。
• NNRank および NNClass ソフトウェアの公開を通じて、研究者および実務家が容易に利用できる実用的でアクセスしやすいツールを提供すること。

提案手法

• 本手法は、順序付きカテゴリ数 K に応じて K 個の出力ノードを持つ多層パーセプトロンを用い、各カテゴリの確率をモデル化する。
• 標準的なニューラルネットワークと同様に誤差逆伝播法を用いて学習を行うが、目的変数の順序構造を尊重する損失関数を適用する。
• ネットワークは各カテゴリの累積確率を予測するように学習され、より高い順位のカテゴリに対して出力確率が単調に減少するように保証される。
• 1層パーセプトロン（Prank）の一般化として、非線形フィッティング能力を向上させるために深層アーキテクチャを採用する。
• 実数直線上に K−1 個のしきい値を学習するマルチスレッショルド戦略を用い、出力空間を K 個の順序付きカテゴリに分割する。
• オンライン学習およびバッチ学習の両方をサポートしており、大規模データセットでの効率的な学習と高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 多層ニューラルネットワークは、ニューラルネットワーク学習の利点を保ちつつ、順序回帰に効果的に適応可能か？
• RQ2 提案手法のニューラルネットワーク手法は、順序回帰ベンチマークにおいて、標準的な分類用ニューラルネットワークと比較してどのように性能を発揮するか？
• RQ3 提案手法は、サポートベクターマシンやガウス過程といった最先端手法と同等の性能を順序回帰タスクで達成できるか？
• RQ4 ニューラルネットワーク手法は大規模データセットに効率的にスケーリング可能で、リアルタイムのオンライン学習をサポートできるか？
• RQ5 単層パーセプトロンから深層アーキテクチャへの一般化は、出力確率の単調性を維持しながら可能か？

主な発見

• 複数のベンチマークデータセットにおいて、NNRank は標準的な分類用ニューラルネットワークよりも平均絶対誤差（MAE）が優れており、データセットごとに 1.5% から 10% の改善が得られた。
• NNRank は、サポートベクターマシンやガウス過程と同等の性能を発揮し、大多数のデータセットで最良手法との MAE の差が 0.05 以内に収まった。
• Triazines データセットでは、NNRank が 0.730 ± 0.07 の MAE を達成し、SVM（0.698 ± 0.03）および GP-MAP（0.687 ± 0.02）を上回った。
• Diabetes データセットでは、NNRank が 0.546 ± 0.15 の MAE を達成し、GP-MAP（0.662 ± 0.14）および GP-EP（0.665 ± 0.14）を顕著に上回った。
• 本手法は高速な予測とスケーラビリティを示し、ウェブページランクイングやバイオインフォマティクス分野のタンパク質ランクイングといった時間的に制約のある応用に適していることが明らかになった。
• 研究者や実務家による広範な活用を促進するため、NNRank および NNClass ソフトウェアが公開された。このソフトウェアは汎用的な入力フォーマットをサポートしており、研究分野および産業界での広範な採用が可能である。