[論文レビュー] Understanding Uncertainty Sampling

Shang Liu, Xiaocheng Li|arXiv (Cornell University)|Jul 6, 2023

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿は、偏微分方程式を通じて元の損失関数と不確実性測度を結びつける「同等損失（equivalent loss）」を定義することにより、アクティブラーニングにおける不確実性サンプリングの一般的な理論的枠組みを提示する。本稿は、ストリームベースおよびプールベースのアクティブラーニングにおける一般化境界を初めて確立し、損失を不確実性として用いる手法の最適性を証明するとともに、不確実性サンプリングをリスク感受性および分布ロバストな最適化目的と結びつける。これにより、ヒューリスティックな手法として広く使われてきたが理論的裏付けに欠けていた手法に理論的根拠を与える。

ABSTRACT

Uncertainty sampling is a prevalent active learning algorithm that queries sequentially the annotations of data samples which the current prediction model is uncertain about. However, the usage of uncertainty sampling has been largely heuristic: (i) There is no consensus on the proper definition of "uncertainty" for a specific task under a specific loss; (ii) There is no theoretical guarantee that prescribes a standard protocol to implement the algorithm, for example, how to handle the sequentially arrived annotated data under the framework of optimization algorithms such as stochastic gradient descent. In this work, we systematically examine uncertainty sampling algorithms under both stream-based and pool-based active learning. We propose a notion of equivalent loss which depends on the used uncertainty measure and the original loss function and establish that an uncertainty sampling algorithm essentially optimizes against such an equivalent loss. The perspective verifies the properness of existing uncertainty measures from two aspects: surrogate property and loss convexity. Furthermore, we propose a new notion for designing uncertainty measures called extit{loss as uncertainty}. The idea is to use the conditional expected loss given the features as the uncertainty measure. Such an uncertainty measure has nice analytical properties and generality to cover both classification and regression problems, which enable us to provide the first generalization bound for uncertainty sampling algorithms under both stream-based and pool-based settings, in the full generality of the underlying model and problem. Lastly, we establish connections between certain variants of the uncertainty sampling algorithms with risk-sensitive objectives and distributional robustness, which can partly explain the advantage of uncertainty sampling algorithms when the sample size is small.

研究の動機と目的

• 不確実性サンプリングの背後にある理論的理解の欠如に取り組む。これは、広く使われているがヒューリスティックなアクティブラーニング戦略である。
• エントロピー、マージン、最小信頼度などの多様な不確実性測度を、同等損失という概念を用いて一つの理論的枠組みで統一する。
• 分類および回帰の両方のタスクに適用可能な、問題に依存しない不確実性測度「損失を不確実性として」の開発。
• ストリームベースおよびプールベースのアクティブラーニングにおける不確実性サンプリングの、初めての一般化境界を導出する。
• 不確実性サンプリングをリスク感受性最適化および分布ロバスト最適化と結びつける。これにより、小規模データで優れた性能を示す理由を説明する。

提案手法

• 元の損失関数と不確実性測度を結ぶ偏微分方程式を用いて「同等損失」の概念を提案。不確実性サンプリングが導出されたこの目的関数を最適化することを示す。
• 「損失を不確実性として」を導入。特徴量の条件下での期待損失を不確実性指標として用いる。これは解析的に扱いやすく、タスクに依存しない一般化性を有する。
• 不確実性サンプリングアルゴリズムが、経験的データ分布の下で期待同等損失に対する確率的勾配降下法（SGD）更新と等価であることを確立する。
• 同等損失目的関数におけるSGDの収束を分析することで、ストリームベースおよびプールベースのアクティブラーニングにおける一般化境界を導出する。
• KKT条件と発散制約を用いて、高損失・高不確実性のサンプルを優先するサンプリングポリシーの最適性を証明する。
• 不確実性サンプリングが、摂動下での最悪ケースリスクの最小化を暗黙的に実現することを示すことで、リスク感受性目的および分布ロバスト最適化と結びつける。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングで用いられる多様な不確実性測度（例：エントロピー、マージン、最小信頼度）を、一つの理論的枠組みで正式に定義・統一することは可能か？
• RQ2 不確実性サンプリングが実際に最小化している背後にある最適化目的は何か？
• RQ3 ストリームベースおよびプールベースのアクティブラーニングにおける不確実性サンプリングの一般化境界を導出できるか？
• RQ4 不確実性サンプリングは、理論的保証に欠けていながらも、なぜ小規模データで優れた性能を示すのか？
• RQ5 分類および回帰の両タスクに一様に適用可能な単一の不確実性測度を設計できるか？

主な発見

• 本稿は、偏微分方程式を介して元の損失関数と不確実性測度を結ぶ同等損失が、不確実性サンプリングが最適化するものであることを確立し、統一的な理論的基盤を提供する。
• 提案された「損失を不確実性として」の測度は、解析的に良好であり、従来のタスク特化型設計とは異なり、分類および回帰の両タスクに一般化可能である。
• ストリームベースおよびプールベースのアクティブラーニングにおける一般化境界が導出され、最小限の仮定のもとで収束性とデータ効率性が保証される。
• 本フレームワークは、不確実性サンプリングが小規模データ環境で優れた性能を示す理由を、リスク感受性および分布ロバスト最適化目的と結びつけることで説明する。
• 理論的分析により、同等損失に対するSGDによる不確実性サンプリングが、標準的な仮定のもとで$O(1/√{T})$の収束速度を達成することが確認された。
• 最も高い条件付き期待損失を持つサンプルを優先する最適なサンプリングポリシーが、KKT条件を用いた制約付き最適化問題の解として正当化された。