[論文レビュー] Fast Optimization of Multithreshold Entropy Linear Classifier

Rafał Józefowicz, Wojciech Marian Czarnecki|arXiv (Cornell University)|May 21, 2015

Neural Networks and Applications参考文献 14被引用数 1

ひとこと要約

この論文では、多閾値エントロピー線形分類器（MELC）の高速化を図るために、計算時間を短縮しつつ精度を維持する近似最適化手法を導入している。共役勾配法とL-BFGSを球面上最適化に適応させ、ユーザーが指定した許容誤差に基づく適応的パラメータ選択を提案。10個のUCIデータセットで検証され、顕著な高速化が達成された。

ABSTRACT

Multithreshold Entropy Linear Classifier (MELC) is a density based model which searches for a linear projection maximizing the Cauchy-Schwarz Divergence of dataset kernel density estimation. Despite its good empirical results, one of its drawbacks is the optimization speed. In this paper we analyze how one can speed it up through solving an approximate problem. We analyze two methods, both similar to the approximate solutions of the Kernel Density Estimation querying and provide adaptive schemes for selecting a crucial parameters based on user-specified acceptable error. Furthermore we show how one can exploit well known conjugate gradients and L-BFGS optimizers despite the fact that the original optimization problem should be solved on the sphere. All above methods and modifications are tested on 10 real life datasets from UCI repository to confirm their practical usability.

研究の動機と目的

• 密度ベースのモデルとして優れた実験的性能を示すが、最適化速度が遅い多閾値エントロピー線形分類器（MELC）の問題を解決すること。
• MELCの目的関数におけるカーネル密度推定クエリのための効率的近似手法を開発し、計算負荷を低減すること。
• MELCに内在する球面制約多様体上に、標準的な最適化アルゴリズム（共役勾配法やL-BFGS）を効果的に適用できるようにすること。
• ユーザーが指定した許容誤差レベルに基づき、キーパラメータを自動的に選択する適応的戦略を導入すること。
• UCIリポジトリの多様な実世界データセット上で、実用性と性能向上を実証すること。

提案手法

• カーネル密度推定クエリの簡略化により、MELC目的関数の近似版を定式化し、計算複雑性を低減すること。
• 勾配を接空間に射影し、更新後に再正規化することで、共役勾配法やL-BFGSを球面上に適用する。
• ユーザーが指定した誤差閾値に基づき、帯域幅やサンプリング密度などの重要なパラメータを動的に調整する適応的パラメータ選択戦略を設計すること。
• 高速カーネル手法と同様のカーネル密度推定近似を活用し、局所的な密度サンプリングを用いて評価コストを削減すること。
• Cauchy-Schwarz散発最大化の目的を保ちつつ、近似最適化をMELCフレームワークに統合すること。
• UCIリポジトリの10個の実世界データセットを用いたエンドツーエンドの訓練とテストにより、手法を検証すること。

実験結果

リサーチクエスチョン

• RQ1 カーネル密度推定クエリの近似を用いることで、分類性能を損なわずにMELCの計算を高速化できるか？
• RQ2 共役勾配法やL-BFGSといった標準的な最適化アルゴリズムを、MELCにおける球面最適化問題に効果的に適用できるか？
• RQ3 ユーザーが指定した誤差バウンダリーを満たす前提で、MELCの近似においてキーパラメータを自動的に選択する適応的戦略は何か？
• RQ4 提案手法の近似と最適化により、実世界のデータセットにおける実行時間性能がどの程度向上するか？
• RQ5 高速化されたMELCは、元の定式化と比較して、競争力のある分類精度を維持できるか？

主な発見

• 提案された近似最適化手法により、MELCの計算コストが顕著に低減されつつ、分類精度が維持された。
• 適応的パラメータ選択により、速度と誤差のトレードオフをユーザーが制御可能であり、異なる誤差閾値においても安定した性能が得られた。
• 接空間への射影と正規化を用いることで、共役勾配法やL-BFGSをMELCの球面最適化問題に効果的に適用できることが示された。
• テストされた10個のUCIデータセットすべてで顕著な高速化が達成され、実世界応用における実用性が実証された。
• 近似手法はCauchy-Schwarz散発最大化の観点からも高い性能を維持しており、本手法の有効性が確認された。