[論文レビュー] SelfieBoost: A Boosting Algorithm for Deep Learning

Shai Shalev‐Shwartz|arXiv (Cornell University)|Nov 13, 2014

Machine Learning and Algorithms参考文献 21被引用数 12

ひとこと要約

SelfieBoost は、正則化された SGD 更新を用いて、以前にうまく分類された例の性能を維持しながら、反復的精錬によって単一のニューラルネットワークの精度を向上させる、深層学習のための新しいブースティング手法である。実用的な「SGD 成功」仮定の下で、$ O(\log(1/\epsilon)) $ の対数的収束率を達成し、少ない反復回数で低訓練誤差を保証する。

ABSTRACT

We describe and analyze a new boosting algorithm for deep learning called SelfieBoost. Unlike other boosting algorithms, like AdaBoost, which construct ensembles of classifiers, SelfieBoost boosts the accuracy of a single network. We prove a $\log(1/ε)$ convergence rate for SelfieBoost under some "SGD success" assumption which seems to hold in practice.

研究の動機と目的

• 勾配降下法（SGD）の収束が遅いという問題に、アンサンブルではなく単一のネットワークを改善するブースティングフレームワークを導入することで対処すること。
• AdaBoost などの伝統的ブースティング手法が複数の分類器を保存・結合する必要があるため、推論コストが高くなるという制限を克服すること。
• 以前にうまく分類された例における一般化性能の低下を防ぐために、更新を正則化することで性能を維持するブースティング手法の設計。
• 現実的な「SGD 成功」仮定の下で、最終分類器の対数的収束率を証明することにより、誤差の急速な減少を保証すること。

提案手法

• SelfieBoost は、例の重みを負の符号付きマージン $ y_i f_t(x_i) $ に比例して維持し、ハードな例に注目して学習を進める。
• 各反復で、これらの重みに従って例のサブセットをサンプリングし、正則化された目的関数を最小化するための SGD を適用する：$ \sum_{i \in S} y_i(f_t(x_i) - g(x_i)) + \frac{1}{2}\sum_{i \in S}(g(x_i) - f_t(x_i))^2 $。
• 容易な例での性能の悪化を防ぐために、$ |f_{t+1}(x_i) - f_t(x_i)| \leq 1 $ のリプシッツ制約を課す。
• マージン改善の閾値 $ \rho $ を基準とした成功条件を導入し、目的関数が $ -\rho $ 未満である場合にのみ更新を承認する。
• 更新が閾値を満たさない場合、SGD の反復回数やネットワーク容量を増やし、再試行する。
• 理論的基盤として、各成功した更新が log-sum-exp 損失 $ L(f) $ を少なくとも $ \rho $ 減少させることを示しており、これにより誤差の指数的減少が生じる。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルモデルを維持しない単一の深層ニューラルネットワークの精度を向上させるブースティング手法は可能か？
• RQ2 重みの変更を制約する正則化された更新戦略は、以前にうまく分類された例での性能の低下を防げるか？
• RQ3 現実的な最適化仮定の下で、単一ネットワークのブースティング手法に保証できる収束率は何か？
• RQ4 SGD が各ステップで正則化されたマージン改善を最小 $ \rho $ で達成できる場合、理論的な収束率 $ O(\log(1/\epsilon)) $ は実際の実装でも達成可能か？
• RQ5 各ステップで、前のネットワークに近いままマージンを向上させる新しいネットワークを構築することは可能か？ これにより安定性が保証されるか？

主な発見

• 成功した反復回数 $ T \geq \frac{1}{\rho} \log(1/\epsilon) $ の後、最終分類器 $ f_{T+1} $ は訓練誤差率が $ \epsilon $ 以下になることが保証される。
• SGD が各ステップで正則化されたマージン改善を少なくとも $ \rho $ で達成できるという仮定の下で、アルゴリズムは対数的収束率 $ O(\log(1/\epsilon)) $ を保証する。
• 各成功した反復は log-sum-exp 損失 $ L(f) $ を少なくとも $ \rho $ 減少させ、これは $ \log(M(f)) \leq L(f) $ を介して誤り数の上限を直接制約する。
• 理論的補題により、サイズ $ k_1 + k_2 + 1 $ のネットワーク $ g $ は、目的関数値を最大 $ -1/2 $ に抑えることができると示され、各ステップでの進捗の可能性が裏付けられる。
• 深層ネットワークは通常、最適ネットワーク $ f^* $ よりも大きいので、構造の拡張なしに十分な容量を有しており、良い更新を見つけることができる。このため、実装においても頑健である。
• 中間モデルを忘れるため、アンサンブル推論を回避し、最終ネットワークのみを用いて高速な予測が可能になる。