[論文レビュー] A Survey on Curriculum Learning

Xin Wang, Yudong Chen+1 more|arXiv (Cornell University)|Oct 25, 2020

Machine Learning and Data Classification参考文献 145被引用数 8

ひとこと要約

本サーベイは、機械学習におけるcurriculum learning (CL) の包括的レビューを提供し、事前定義済みおよび自動CL手法を体系化するための統一フレームワーク（難易度測定器 + トレーニングスケジューラ）を提案する。CLが視覚、自然言語処理、強化学習の分野でモデルの汎化性能と収束速度を向上させることを示しており、ニューラル機械翻訳では最大70%の高速化と2.2 BLEUポイントの向上が達成された。

ABSTRACT

Curriculum learning (CL) is a training strategy that trains a machine learning model from easier data to harder data, which imitates the meaningful learning order in human curricula. As an easy-to-use plug-in, the CL strategy has demonstrated its power in improving the generalization capacity and convergence rate of various models in a wide range of scenarios such as computer vision and natural language processing etc. In this survey article, we comprehensively review CL from various aspects including motivations, definitions, theories, and applications. We discuss works on curriculum learning within a general CL framework, elaborating on how to design a manually predefined curriculum or an automatic curriculum. In particular, we summarize existing CL designs based on the general framework of Difficulty Measurer+Training Scheduler and further categorize the methodologies for automatic CL into four groups, i.e., Self-paced Learning, Transfer Teacher, RL Teacher, and Other Automatic CL. We also analyze principles to select different CL designs that may benefit practical applications. Finally, we present our insights on the relationships connecting CL and other machine learning concepts including transfer learning, meta-learning, continual learning and active learning, etc., then point out challenges in CL as well as potential future research directions deserving further investigations.

研究の動機と目的

• 教師あり、弱教師あり、教師なし学習の設定において、curriculum learning (CL) の手法を体系化し分類すること。
• コンピュータビジョン、自然言語処理、強化学習などの多様な応用分野において、CLがモデルの汎化性能と収束速度を向上させる有効性を分析すること。
• 自動CLの4つのカテゴリ（Self-paced Learning, Transfer Teacher, RL Teacher, その他の自動CL）を特定し、比較すること。
• 転移学習、メタラーニング、継続的学習、アクティブラーニングといった関連パラダイムとの関係を明確にすること。
• 未解決の課題を特定し、今後の研究方向性（ベンチマーク開発、理論的基盤、応用統合の拡大）を提案すること。

提案手法

• 訓練例の複雑さに基づいて順序付けを行う難易度測定器と、徐々に難易度の高いサンプルを含める制御を行うトレーニングスケジューラから成る一般化されたCLフレームワークを提案する。
• CLを事前定義済みと自動の2種類に分類し、自動CLはさらに最適化指向のSelf-paced Learning、知識蒸留に基づくTransfer Teacher、強化学習に基づく選択のRL Teacher、その他の自動CLに細分化する。
• 難易度測定器 + トレーニングスケジューラのフレームワークを通じて、既存のCL設計をレビューし、時間経過に伴うデータ分布の再重み付けに注目する。
• CLの理論的基盤を分析し、有効性が発揮される条件（データセットのサイズと難易度の増加）を提示するとともに、未解決の理論的課題を議論する。
• アクティブラーニングやメタラーニングといった関連パララダイムと比較し、動的データ選択のメカニズムの共通点と、相補的な強みを強調する。
• 今後の手法的アプローチとして、バンドイットアルゴリズム、メタラーニング、ハイパーパrameter最適化を用いた自動カリキュラム生成との統合を提案する。

実験結果

リサーチクエスチョン

• RQ1 多様な機械学習応用分野にわたり、curriculum learning を一貫したフレームワークで統合・分類することは可能か？
• RQ2 手動で定義されたカリキュラムと自動生成カリキュラムの間には、どのような主な相違点と設計原則があるか？
• RQ3 標準的なランダムトレーニングと比較して、curriculum learning はモデルの性能とトレーニング効率をどのように向上させるか？
• RQ4 データ選択と学習ダイナミクスの観点から、CL手法はアクティブラーニング、メタラーニング、継続的学習とどのように関係し、どのように異なるか？
• RQ5 ベンチマーク、理論、実世界応用のスケーラビリティの観点から、CLにおける主な未解決課題は何か？

主な発見

• curriculum learning は多様な分野でモデル性能と収束速度を向上させ、最大70%のトレーニング時間短縮と、ニューラル機械翻訳で2.2 BLEUポイントの向上を達成した。
• マルチメディアイベント検出の分野では、CLにより相対的にMAPが45.8%向上し、標準的なバッチ学習と比較して著しく高速に収束した。
• CLにより、強化学習エージェントが、カリキュラムベースのトレーニングなしでは到達不可能な困難な目的志向タスクを解けるようになった。
• Self-paced Learning や Transfer Teacher、RL Teacher といった自動CL手法は強く有望ではあるが、統一された理論的保証と標準化された評価が欠如している。
• 標準的なデータセット、評価指標、および真のカリキュラムを備えた包括的ベンチマークが存在しないため、CLアルゴリズムの公平な比較と評価が妨げられている。
• CLの理論的理解は依然として限定的であり、特に異なるデータ分布やタスク目的下でのデータセットサイズ、分散、難易度の増加がもたらす影響については未解明な点が多い。