[論文レビュー] Polyceptron: A Polyhedral Learning Algorithm

Naresh Manwani, PS Sastry|arXiv (Cornell University)|Jul 8, 2011

Neural Networks and Applications参考文献 6被引用数 11

ひとこと要約

本稿では、パーセプトロンにインspiredされた、誤分類時にのみハイパーハイパーパラメータを反復的に更新する凸多面体分類器を学習する新規な多面体学習アルゴリズム、Polyceptronを紹介する。バッチ版は、Polyceptron基準を最小化するための交互最小化を用い、特に多面体分離可能なデータにおいて、OC1 や PC-SLP と比較して優れた精度と速度を達成する。

ABSTRACT

In this paper we propose a new algorithm for learning polyhedral classifiers which we call as Polyceptron. It is a Perception like algorithm which updates the parameters only when the current classifier misclassifies any training data. We give both batch and online version of Polyceptron algorithm. Finally we give experimental results to show the effectiveness of our approach.

研究の動機と目的

• 凸クラス領域を幾何学的に解釈可能な形で捉える単純で効果的な多面体分類器の学習アルゴリズムの開発。
• 誤分類に基づくインクリメンタルなパrameter更新を可能にする基準を設計することで、多面体学習におけるクレジット割り当て問題に対処すること。
• オンライン版とバッチ版の両方のアルゴリズムを提案し、バッチ版はPolyceptron基準を最適化するために交互最小化を用いること。
• 合成データおよび実世界のデータセットに対して実験的に評価を行い、OC1 や PC-SLP といった既存手法と性能を比較すること。

提案手法

• Polyceptronアルゴリズムは、K 個の線形関数の最小値を用いて分類器を定義する：f(x, Θ) = sign(min_k (w_k^T x + b_k)) ここで Θ = {(w_k, b_k)} は K 個のハイパーハイパーパラメータの集合を表す。
• パーセプトロン損失に類似したPolyceptron基準を導入し、誤分類例に基づいたパrameter更新を誘導する。
• オンライン版のPolyceptronは、訓練例が誤分類された場合にのみ、1 つの重みベクトル (w_k, b_k) を更新し、標準的なパーセプトロン更新ルールを模倣する。
• バッチ版のPolyceptronは、反復的にPolyceptron基準を改善することで、すべてのハイパーハイパーパラメータを同時に最適化するための交互最小化スキームを採用する。
• 合成データセットを用いた実験により、データが多面体的に分離可能な場合に有限反復内で収束することを示した。
• すべての可能なハイパーハイパーパラメータの組み合わせに関するグローバル最適化ではなく、局所的な誤分類フィードバックに焦点を当てることで、組み合わせ的複雑性を回避する。

実験結果

リサーチクエスチョン

• RQ1 幾何学的解釈可能性を保ちつつ、効率的に多面体分類器を学習できるパーセプトロンに類似したアルゴリズムを設計できるか？
• RQ2 バッチ版のPolyceptronアルゴリズムは、Polyceptron基準に関して単調に収束するか？また、オンライン版と比較して収束特性はどうなるか？
• RQ3 多面体的に分離可能なデータにおいて、Polyceptronの性能は、OC1 や PC-SLP といった最先端手法と比較して、精度、速度、一般化性能の面で優れているか？
• RQ4 データが真に多面体的に分離可能な場合、オンライン版のPolyceptronアルゴリズムは有限反復内で収束するか？また、次元数の増加に伴ってスケーリングはいかがなっているか？
• RQ5 PC-SLP ら非凸最適化に基づく手法に見られる組み合わせ的クレジット割り当ての計算負荷を、Polyceptronアプローチは回避できるか？

主な発見

• バッチ版のPolyceptronは、特に次元数の高い合成データセットにおいて、OC1 の性能が組み合わせ的劣化を示す場合に、精度と速度の両面で一貫してOC1を上回る。
• 乳癌およびイオンオスコープデータセットでは、バッチ版のPolyceptronが非常に高い精度を達成しており、これらデータセットがほぼ多面体的に分離可能であることを示唆している。
• 図3に示すように、オンライン版のPolyceptronは多面体的に分離可能なデータセットにおいて有限反復内で収束することが確認され、有限時間で正しい分類器を学習できることを裏付けた。
• バッチ版のPolyceptronはSPLA1と比較して少なくとも1.5倍速く、同等またはより高い精度を達成しており、計算効率の高さを示している。
• Polyceptronは、非凸制約最適化と組み合わせ的クレジット割り当ての計算オーバーヘッドを回避するため、PC-SLP よりも著しく優れた時間的・精度的性能を発揮している。
• バッチ版のPolyceptronは反復回数を増やすに従い、Polyceptron基準を単調に減少させ、安定的かつ一貫性のある収束を示している。