[論文レビュー] Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss

Stephen Mussmann, Percy Liang|arXiv (Cornell University)|Dec 5, 2018

Machine Learning and Algorithms被引用数 9

ひとこと要約

この論文は、アドホックな学習における不確実性サンプリングが、母集団ゼロワン損失の滑らか化版に対するプリコンディショニング付き確率的勾配降下法と等価であることを確立し、少ないデータでさえも受動的学習よりも低いテスト誤差に収束できる理由を説明している。この手法は非凸なゼロワン損失を暗黙的に最適化し、停留点に収束するが、これが実際の成功と失敗の両方を説明している。

ABSTRACT

Uncertainty sampling, a popular active learning algorithm, is used to reduce the amount of data required to learn a classifier, but it has been observed in practice to converge to different parameters depending on the initialization and sometimes to even better parameters than standard training on all the data. In this work, we give a theoretical explanation of this phenomenon, showing that uncertainty sampling on a convex loss can be interpreted as performing a preconditioned stochastic gradient step on a smoothed version of the population zero-one loss that converges to the population zero-one loss. Furthermore, uncertainty sampling moves in a descent direction and converges to stationary points of the smoothed population zero-one loss. Experiments on synthetic and real datasets support this connection.

研究の動機と目的

• 受動的学習よりも少ないデータで一般化誤差を低く抑える不確実性サンプリングの経験的成功を説明すること。
• ストリーミング・アクティブ・ラーニング設定における不確実性サンプリングの最適化ダイナミクスを特徴づけること。
• 完全データ学習に比べて不確実性サンプリングがより良い解に収束できる理由を明確にすること、特にバイアスが導入されているにもかかわらず。
• 不確実性サンプリングと非凸ゼロワン損失の最小化との間の関係を形式化すること。

提案手法

• サンプル数が増加するにつれて真のゼロワン損失に収束する母集団ゼロワン損失の滑らか化近似を導入する。
• 現在のデータ上で凸な代替損失を最小化する不確実性サンプリングが、滑らか化ゼロワン損失上でのプリコンディショニング付き確率的勾配ステップを実行することを示す。
• 各不確実性サンプリング更新が、停留点に近い場合を除き、滑らか化ゼロワン損失の降下方向に進むことを証明する。
• やや弱い正則性条件のもとで、不確実性サンプリングが滑らか化ゼロワン損失の停留点に収束することを示す。
• 点が不確実性（つまり、決定境界に最も近い点）に基づいて選択され、反復的に追加されるストリーミング・アクティブ・ラーニング設定を用いる。
• 合成データおよび22個の実世界データセット上で理論的主張を検証し、不確実性サンプリングのダイナミクスとゼロワン損失最適化の間の整合性を示した。

実験結果

リサーチクエスチョン

• RQ1 なぜ不確実性サンプリングは、完全データセットに対する受動的学習よりも低いテスト誤差を達成することがあるのか？
• RQ2 不確実性サンプリングが暗黙的に最小化する最適化目的は何か？
• RQ3 アクティブ・サンプリングが導入するバイアスが収束性と一般化に与える影響は何か？
• RQ4 不確実性サンプリングはプリコンディショニング付き確率的勾配降下法の一種と解釈できるか？
• RQ5 なぜ不確実性サンプリングはときとして失敗したり、悪い局所最小値に収束するのか？

主な発見

• 不確実性サンプリングは、母集団ゼロワン損失の滑らか化版に対するプリコンディショニング付き確率的勾配降下法と数学的に等価である。
• 各不確実性サンプリング更新は、パラメータが停留点に近い場合を除き、滑らか化ゼロワン損失の降下方向に進む。
• この手法は滑らか化ゼロワン損失の停留点に収束するため、低誤差解を発見する傾向があることが説明される。
• 不確実性サンプリングの成功は、非凸ゼロワン損失の暗黙的最適化に起因し、凸代替損失を最小化するのよりも一般化性能が優れている可能性がある。
• 初期化が悪く、特に初期セットが小さい場合、ゼロワン損失の悪い局所最小値に収束する可能性があり、これが性能劣化の理由を説明する。
• 合成データおよび実世界データセットにおける実験結果から、不確実性サンプリングとゼロワン損失最小化との理論的関係が確認された。