[論文レビュー] Margin-Based Generalization Lower Bounds for Boosted Classifiers

Allan Grønlund, Lior Kamma+3 more|arXiv (Cornell University)|Sep 27, 2019

Face and Expression Recognition参考文献 16被引用数 7

ひとこと要約

本稿は、ブースティング分類器における最初のマージンに基づく一般化下界を確立し、GaoとZhou（2013）が提唱したk番目のマージン境界がほぼタイトであることを示した。一般化誤差が上界よりも著しく良くならないような困難なインスタンスを構築することで、投票型分類器におけるマージンに基づく一般化の理論的ギャップをほぼ埋めることに成功した。

ABSTRACT

Boosting is one of the most successful ideas in machine learning. The most well-accepted explanations for the low generalization error of boosting algorithms such as AdaBoost stem from margin theory. The study of margins in the context of boosting algorithms was initiated by Schapire, Freund, Bartlett and Lee (1998) and has inspired numerous boosting algorithms and generalization bounds. To date, the strongest known generalization (upper bound) is the $k$th margin bound of Gao and Zhou (2013). Despite the numerous generalization upper bounds that have been proved over the last two decades, nothing is known about the tightness of these bounds. In this paper, we give the first margin-based lower bounds on the generalization error of boosted classifiers. Our lower bounds nearly match the $k$th margin bound and thus almost settle the generalization performance of boosted classifiers in terms of margins.

研究の動機と目的

• ブースティング分類器の既知の一般化上界と未知の下界の間の理論的ギャップを埋めること。
• 現在最も強い既知の上界であるk番目のマージン境界が、ほぼタイトであるかどうかを確立すること。
• マージンに基づく一般化誤差が、アルゴリズム設計に依存せずに根本的に下限されうるかどうかを調査すること。
• マージン以外の自然なパラメータが、ブースティングにおける実践的一般化をよりよく説明できるかどうかを調査すること。

提案手法

• 仮説に対する重み付き分布を用いた構成により、最悪のマージン行動を模倣する困難な訓練インスタンスを生成する。
• マージンを制御できるようにした修正版AdaBoost型アルゴリズム（アルゴリズム1）を用いて、投票型分類器を生成する。
• 重み付きラデマッハ変数の和に対するラデマッハ複雑度と尾部確率の境界を適用し、一般化誤差の確率的下界を導出する。
• 二重のアプローチを採用：一方の境界は任意の投票型分類器を生成するアルゴリズムに適用可能であり、他方は一般化が悪い分類器の存在を示す。
• VC次元が有界で、マージン分布が制御可能な仮説集合の構造を活用し、タイトな下界を導出する。
• 集中不等式と対数スケーリングを用い、マージンの大きさ、仮説集合の複雑さ、一般化誤差の関係を関係づける。

実験結果

リサーチクエスチョン

• RQ1 現在最も強い既知の一般化誤差上界であるk番目のマージン境界が、ほぼタイトであるか？
• RQ2 マージンに基づく測度を用いて、ブースティング分類器の一般化誤差を下限から抑えられるか？
• RQ3 訓練データ上でマージンが大きくても、一般化が悪い投票型分類器が存在するか？
• RQ4 アルゴリズム固有の解析によって、一般化境界におけるln m 要素を回避できるか？

主な発見

• 本稿は、GaoとZhou（2013）のk番目のマージン境界とほぼ一致するマージンに基づく一般化下界を確立し、上界がほぼタイトであることを示した。
• 任意の投票型分類器を生成するブースティングアルゴリズムに対して、一般化誤差は、k番目のマージンθに対してΩ(√(ln |H| ln m)/(kθ²m))のオーダーで下界から抑えられる。
• より強い下界は、一般化誤差が少なくともΩ(√(ln |H| ln m)/(kθ²m))に達するような投票型分類子の存在を示しており、上界と対数要因を除いて一致する。
• マージンに基づくブースティングにおける一般化の上界と下界の理論的ギャップは、ほぼ埋まった。
• 結果から、マージンのみではk番目のマージン境界を超えて一般化誤差を説明することはできず、完全な理論を構築するには追加のパラメータが必要である可能性が示唆された。
• 第二の下界におけるln m 要素は、アルゴリズム固有の解析によっても取り除けず、マージンに基づく理論の根本的な限界を示している。