[論文レビュー] Optimal Margin Distribution Machine

Teng Zhang, Zhi‐Hua Zhou|arXiv (Cornell University)|Apr 12, 2016

Face and Expression Recognition参考文献 40被引用数 15

ひとこと要約

本稿では、最小マージンの最大化にとどまらず、マージンの平均と分散を同時に最適化することで一般化性能を向上させる、新しい分類アルゴリズムである最適マージン分布マシン（ODM）を提案する。ODMは、32個の通常スケールおよび10個の大規模データセットにおいて、SVMおよび最先端手法を上回る性能を達成し、より優れたマージン分布と競争可能な計算効率を実現する。

ABSTRACT

Support vector machine (SVM) has been one of the most popular learning algorithms, with the central idea of maximizing the minimum margin, i.e., the smallest distance from the instances to the classification boundary. Recent theoretical results, however, disclosed that maximizing the minimum margin does not necessarily lead to better generalization performances, and instead, the margin distribution has been proven to be more crucial. Based on this idea, we propose a new method, named Optimal margin Distribution Machine (ODM), which tries to achieve a better generalization performance by optimizing the margin distribution. We characterize the margin distribution by the first- and second-order statistics, i.e., the margin mean and variance. The proposed method is a general learning approach which can be used in any place where SVM can be applied, and their superiority is verified both theoretically and empirically in this paper.

研究の動機と目的

• SVMが最小マージンの最大化にのみ注力するという限界を是正し、一般化におけるマージン分布の役割をよりよく捉える手法を提案すること。
• SVMが適用可能なあらゆる場面に適用可能な汎用的な学習フレームワークを構築し、一般化性能を向上させること。
• マージン分布（特に平均と分散）が最小マージンよりも一般化に与える影響がより重要であることを、実験的および理論的に検証すること。
• 特に大規模データに対して適した、カーネル版および線形版ODMのための効率的な最適化アルゴリズムを設計すること。

提案手法

• ODMは、マージン分布を一次統計（マージン平均）と二次統計（マージン分散）で定式化する。
• 最適化目的関数はマージン平均を最大化するとともにマージン分散を最小化することで、より一様で高いマージンを持つ分類境界を実現する。
• カーネル版ODMに対しては、効率的な最適化を実現するため、双対座標降下法を提案する。
• 大規模線形ODMに対しては、スケーラビリティを確保するため、分散低減付き確率的勾配降下法を採用する。
• 行列の逆行列計算を回避することで、特に非線形カーネルにおいても効率性が向上する。
• 定式化は一般性を有し、SVMが適用可能なあらゆる設定に応用可能である。

実験結果

リサーチクエスチョン

• RQ1 SVM風の学習において、最小マージンの最適化にとどまらず、マージン分布の最適化をすることで、一般化性能が向上するのか？
• RQ2 マージン平均と分散を同時に最適化する統一的学習フレームワークは、従来のSVMおよび他のマージンベース手法を上回る性能を発揮できるのか？
• RQ3 通常スケールおよび大規模データセットにおいて、ODMの手法はSVMおよび最先端手法と比較して、精度および計算効率の点でどのように差がつくのか？
• RQ4 マージン分布が一般化に与える影響は何か？ また、ODMが平均と分散を最適化することで、この影響にどのように寄与するのか？

主な発見

• 32個の通常スケールデータセットにおいて、ODMおよびODM LはSVMを常に上回り、勝ち/分け/負けのカウントから、劣ることはなく、しばしば顕著に優れていることが示された。
• 10個の大規模データセットにおいて、ODMおよびODM Lはほぼすべてのデータセットで最高の精度を達成し、それぞれ6/10および7/10のデータセットでSVMよりも顕著に優れていた。
• 累積マージン分布曲線から、ODMおよびODM LはSVMよりも優れたマージン分布を有しており、最小マージンはわずかに小さいものの、より多くの例が大きなマージンを達成していることが明らかになった。
• ODMおよびODM Lは計算効率が高く、CPU時間は高速SVM実装（SVM s）と同等またはわずかに高いにとどまり、特に大規模データにおいて顕著である。
• 理論的分析により、提案された最適化フレームワークの有効性が確認され、新しい定式化は行列の逆行列計算を回避することで、非線形カーネルにおける効率性が向上した。