[論文レビュー] Learning Theory Approach to Minimum Error Entropy Criterion

Ting Hu, Jun Fan+2 more|arXiv (Cornell University)|Aug 3, 2012

Neural Networks and Applications参考文献 24被引用数 78

ひとこと要約

本稿は、パラーゼン窓法を用いた経験的リスク最小化のアプローチを分析することで、Rényiの2次エントロピーに基づく最小誤差エントロピー（MEE）アルゴリズムの、初めての厳密な一致性結果を確立した。エントロピーに基づく学習の非二次的性質に起因する技術的課題を克服し、カーネルスケーリングパラメータ $ h $ が適切なレートで無限大に近づくとき、MEEアルゴリズムの一貫性が証明された。

ABSTRACT

We consider the minimum error entropy (MEE) criterion and an empirical risk minimization learning algorithm in a regression setting. A learning theory approach is presented for this MEE algorithm and explicit error bounds are provided in terms of the approximation ability and capacity of the involved hypothesis space when the MEE scaling parameter is large. Novel asymptotic analysis is conducted for the generalization error associated with Renyi's entropy and a Parzen window function, to overcome technical difficulties arisen from the essential differences between the classical least squares problems and the MEE setting. A semi-norm and the involved symmetrized least squares error are introduced, which is related to some ranking algorithms.

研究の動機と目的

• 非ガウス分布のノイズ環境においても有効な最小誤差エントロピー（MEE）基準の理論的基盤を確立すること。
• 実務で広く用いられているが理論的裏付けに乏しいMEEアルゴリズムの、文献における一貫性結果の欠如に取り組むこと。
• パラーゼン窓法のスケーリングパラメータ $ h $ が大きい場合のMEEアルゴリズムの挙動を分析すること。これは、実務的に性能向上が観察されている。
• 情報理論的学習と古典的学習理論のギャップを埋めるために、仮説空間の近似能力と容量に関する収束レートを導出すること。

提案手法

• Rényiの2次エントロピーから導出されたエントロピーに基づく損失関数を用いた経験的リスク最小化（ERM）を採用する。
• カーネル関数 $ G $ を用いたパラーゼン窓法により誤差密度 $ p_E $ を推定し、スケーリングパラメータ $ h $ を導入する。
• 一般化誤差の分析のため、順序付けに基づくアルゴリズムと関連付けるために、対称化された最小二乗誤差を補助的に導入する。
• 被覆数および近似誤差の条件を適用し、仮説空間の容量と近似能力に基づいて一般化誤差の上界を導出する。
• U統計量および集中不等式を用いて、特に重尾分布の応答変数下で、経験的リスクと真のリスクの乖離を制御する。
• 応答変数 $ Y $ に対してモーメント条件 $ \mathbb{E}[|Y|^q] < \infty $ を課し、窓関数 $ G $ に対して減衰条件を設定する。

実験結果

リサーチクエスチョン

• RQ1 密度推定に通常は小さな $ h $ が必要であるにもかかわらず、パラーゼン窓法のスケーリングパラメータ $ h \to \infty $ のとき、MEEアルゴリズムの一貫性は証明可能か？
• RQ2 MEEアルゴリズムの一般化誤差は、近似誤差と仮説空間の容量の観点からどのように振る舞うか？
• RQ3 MEE基準と順序付けに基づくアルゴリズムで用いられる対称化最小二乗誤差の関係は何か？
• RQ4 この理論枠組みは、シャノンエントロピーまたは $ \alpha \neq 2 $ のRényiエントロピーなど、他のエントロピー順序へ拡張可能か？
• RQ5 $ h \to 0 $ のときにも一貫性が達成可能か、それとも理論的安定性の観点から大 $ h $ の領域が本質的であるか？

主な発見

• スケーリングパラメータ $ h \to \infty $ のとき、近似誤差と容量項をバランスさせるレートで、MEEアルゴリズムは一貫性を示す。収束レートは $ O(m^{-1/(2+p)}) $ であり、$ p $ は被覆数のべき乗インデックスである。
• 一般化誤差は、近似誤差 $ \mathcal{D}_{\mathcal{H}}(f_\rho) $ と被覆数 $ \mathcal{N}(\mathcal{H}, \varepsilon) $ に依存する項の和で上界が与えられ、$ \log(2/\delta) $ を含む明示的な高確率境界が得られた。
• 対称化された最小二乗誤差が導入・分析され、$ h \to \infty $ のとき、MEE目的関数とその差分が消えることが示され、MEEと順序付けに基づく学習との関連が明確になった。
• 重尾応答を制御するため、射影作用素 $ \pi_{\sqrt{m}} $ が用いられ、射影応答の期待値が真の回帰関数に対して $ O(1/\sqrt{m}) $ のレートで収束することが保証された。
• 本稿は、文献においてMEEアルゴリズムの最初の厳密な一貫性結果を確立し、長年の理論的ギャップを解消した。
• 解析はRényiのエントロピーの順序 $ \alpha = 2 $ に限定されており、追加の仮定なしには他の $ \alpha \neq 2 $ への拡張はできない。