[論文レビュー] Dropout Training for Support Vector Machines

Ning Chen, Jun Zhu+2 more|arXiv (Cornell University)|Apr 16, 2014

Face and Expression Recognition参考文献 23被引用数 13

ひとこと要約

本稿では、特徴量の不正な変更下での非滑らかなヒンジ損失を扱うために、反復加重最小二乗法（IRLS）アルゴリズムを用いた線形サポートベクターマシン（SVM）の効率的なドロップアウト学習手法を提案する。データ拡張と変分バウンズを活用することで、標準のSVMや他の手法に比べて顕著な精度向上を達成し、特に推論時における特徴量の削除が発生する状況でも優れた性能を示す。

ABSTRACT

Dropout and other feature noising schemes have shown promising results in controlling over-fitting by artificially corrupting the training data. Though extensive theoretical and empirical studies have been performed for generalized linear models, little work has been done for support vector machines (SVMs), one of the most successful approaches for supervised learning. This paper presents dropout training for linear SVMs. To deal with the intractable expectation of the non-smooth hinge loss under corrupting distributions, we develop an iteratively re-weighted least square (IRLS) algorithm by exploring data augmentation techniques. Our algorithm iteratively minimizes the expectation of a re-weighted least square problem, where the re-weights have closed-form solutions. The similar ideas are applied to develop a new IRLS algorithm for the expected logistic loss under corrupting distributions. Our algorithms offer insights on the connection and difference between the hinge loss and logistic loss in dropout training. Empirical results on several real datasets demonstrate the effectiveness of dropout training on significantly boosting the classification accuracy of linear SVMs.

研究の動機と目的

• サポートベクターマシンにおける有効なドロップアウト学習手法の欠如に起因する、特徴量ノイズ下での非滑らかなヒンジ損失に起因する課題に対処すること。
• 直接期待値を計算することが困難であるにもかかわらず、腐食分布下での期待ヒンジ損失を最小化できる計算的に効率的なアルゴリズムの開発。
• IRLSフレームワークをヒンジ損失およびロジスティック損失の両者に拡張し、それらの違いと関連性について理論的・実験的洞察を提供すること。
• 実世界のシナリオ、特に推論時に特徴量が削除される可能性がある「推論時悪夢（nightmare at test time）」設定において、提案手法の耐性と性能を実証的に検証すること。

提案手法

• 非滑らかなヒンジ損失の不確実な期待値を、一般化逆ガウス分布に従う補助変数を含む変分上界に変換するために、データ拡張を用いる。
• 反復的に再重み付けされた最小二乗問題を最小化するIRLSアルゴリズムを開発し、各ステップで再重み付けが閉形式で計算可能であるように設計する。
• 同じIRLSフレームワークを応用し、ロジスティック回帰のドロップアウト学習のための新しいアルゴリズムを導出する。これにより、古典的なIRLS手法が拡張される。
• 腐食分布に関する周辺化戦略を採用し、明示的に生成しないまま無限個の腐食済みデータバージョン上で学習可能にする。
• 期待ヒンジ損失を上界付ける変分目的関数を導入し、反復的再重み付けによる効率的最適化を可能にする。
• 特に「推論時悪夢」評価設定において、正則化とドロップアウトレベルのチューニングに交差検証を用いる。

実験結果

リサーチクエスチョン

• RQ1 特徴量ノイズ下での非滑らかさが生じるヒンジ損失を考慮した場合、ドロップアウト学習がサポートベクターマシンに効果的に拡張可能か？
• RQ2 閉形式解が困難である場合、特徴量ノイズ下でのヒンジ損失の期待値をどのように効率的に最小化できるか？
• RQ3 ドロップアウト学習の文脈において、ヒンジ損失とロジスティック損失の挙動の関係は何か？最適化および一般化の観点で両者の違いは何か？
• RQ4 提案されたIRLSベースのドロップアウト学習SVMは、推論時における特徴量削除に対する耐性において、最先端手法に比べて優れているか？
• RQ5 提案手法は、特に高レベルの特徴量腐食や削除が発生する状況下でも、実データセット上で分類精度を顕著に向上させられるか？

主な発見

• CIFAR-10データセットにおいて、ドロップアウト腐食下でドロップアウト-SVMはテスト誤差0.294を達成し、標準SVMやMCF-Logisticを上回る性能を示した。
• MNISTにおける「推論時悪夢」シナリオでは、ドロップアウト-SVMはHinge-L2やHinge-FDROPを常に上回り、特に特徴量削除率が10％を超えた場合に顕著な優位性を示した。
• 特徴量削除率が50％を超えた場合、提案されたロジスティック回帰用IRLSアルゴリズムはMCF-Logisticをわずかに上回った。
• ポisson腐食モデルはドロップアウトに比べてわずかに劣る性能を示し、先行研究の観察と整合的であった。
• MCF-Quadratic法（ドロップアウト-SVMの特殊ケース）は、同じ設定下でドロップアウト-SVMに劣り、提案フレームワークの優位性を裏付けた。
• 本手法は特に高腐食度の推論時シナリオにおいて強い耐性と一般化性能を示し、実用的価値が顕著に浮き彫りになった。