[論文レビュー] Theory of Curriculum Learning, with Convex Loss Functions

Daphna Weinshall, Dan Amir|arXiv (Cornell University)|Dec 9, 2018

Machine Learning and Algorithms参考文献 12被引用数 5

ひとこと要約

本稿は、凸最適化におけるカリキュラム学習の理論的枠組みを提示し、各例に対する最適仮説の損失を理想の難易度スコアとして定義する。線形回帰およびヘッジ損失分類において、収束速度がグローバル難易度に対して単調に減少し、ローカル難易度（現在の仮説に対する相対的損失）に対しては増加することを証明し、グローバル難易度とローカル難易度の明確な区別を通じて、カリキュラム学習とハード例マイニングのヒューリスティクスを統合する。

ABSTRACT

Curriculum Learning - the idea of teaching by gradually exposing the learner to examples in a meaningful order, from easy to hard, has been investigated in the context of machine learning long ago. Although methods based on this concept have been empirically shown to improve performance of several learning algorithms, no theoretical analysis has been provided even for simple cases. To address this shortfall, we start by formulating an ideal definition of difficulty score - the loss of the optimal hypothesis at a given datapoint. We analyze the possible contribution of curriculum learning based on this score in two convex problems - linear regression, and binary classification by hinge loss minimization. We show that in both cases, the expected convergence rate decreases monotonically with the ideal difficulty score, in accordance with earlier empirical results. We also prove that when the ideal difficulty score is fixed, the convergence rate is monotonically increasing with respect to the loss of the current hypothesis at each point. We discuss how these results bring to term two apparently contradicting heuristics: curriculum learning on the one hand, and hard data mining on the other.

研究の動機と目的

• 機械学習におけるカリキュラム学習の理論的分析の不足、特に凸問題に対する分析を補完すること。
• 最適仮説の損失に基づく形式的かつ内生的な例の難易度測定を定義すること。
• 例の難易度に従ってサンプリングするカリキュラム学習が、線形回帰およびヘッジ損失分類における収束速度に与える影響を分析すること。
• カリキュラム学習（簡単な例を好む）とハード例マイニング（難しい例を好む）の間にある見かけ上の矛盾を、グローバル難易度とローカル難易度スコアの区別を通じて解消すること。
• 実用的なカリキュラムスケジューリングにおいて、グローバル難易度とローカル難易度スコアを併用する理論的根拠を提供すること。

提案手法

• 各例における最適仮説の損失として、理想難易度スコア（IDS）を提案し、グローバル難易度の形式的測定として用いる。
• IDSに基づく異なるサンプリング戦略における確率的勾配降下法（SGD）の収束速度を分析する。
• 小さな学習率近似（O(η²)項を無視）を用いて、期待される収束速度変化の解析的表現を導出する。
• ローカル難易度を現在の仮説が例に対して出力する損失として定義し、その値が高くなるほど収束速度が向上することを示す。
• 幾何的および積分近似を用いて、収束速度とグローバル（IDS）およびローカル難易度スコアの間の単調関係を導出し、証明する。
• グローバル難易度とローカル難易度スコアの両方を用いた組み合わせによるカリキュラムスケジューリングが可能になるフレームワークを提唱する。

実験結果

リサーチクエスチョン

• RQ1 例の難易度を最適仮説の損失で測定した場合、SGDの収束速度はどのように例の難易度に依存するか？
• RQ2 グローバル難易度が低い例を優先するカリキュラム学習は、線形回帰やヘッジ損失分類といった凸問題において収束を加速するか？
• RQ3 見かけ上矛盾する手法（カリキュラム学習とハード例マイニング）がなぜ実際にはうまく機能するのか？
• RQ4 ローカル難易度（現在の仮説に対する損失）は収束速度にどのように影響し、グローバル難易度とどのように相互作用するか？
• RQ5 グローバル難易度とローカル難易度を区別することで、カリキュラム学習とハード例マイニングの両方の成功を統一的に理論的に説明できるか？

主な発見

• 線形回帰およびヘッジ損失分類の両者において、期待される収束速度はグローバル難易度スコアが高くなるにつれて単調に減少する（つまり、IDSが高いほど収束が遅くなる）。
• グローバル難易度スコアが固定されている場合、収束速度はローカル難易度スコアが高くなるにつれて単調に増加する（つまり、現在のモデルがうまく予測できない例は、学習をより速く進める）。
• 理論的分析により、カリキュラム学習（簡単な例を優先）が凸問題において収束を加速することが確認され、その実証的効果の理論的根拠が得られた。
• 見かけ上の矛盾は、グローバル難易度（例ごとに固定）とローカル難易度（現在のモデルに依存する動的値）の区別によって解消される。
• グローバル難易度とローカル難易度スコアが強く相関している場合（例：ノイズの多いデータでは）、低ローカル損失を好む手法（例：Self-Paced Learning）は理論的に正当化される。
• 結果から、効果的なカリキュラムスケジューリングは、初期学習の安定性と後期の収束速度の両立を図るために、グローバル難易度とローカル難易度スコアの両方を組み合わせるべきであると示唆される。