[論文レビュー] When Do Curricula Work?

Xiaoxia Wu, Ethan Dyer+1 more|arXiv (Cornell University)|Dec 5, 2020

Machine Learning and Data Classification参考文献 64被引用数 7

ひとこと要約

本論文は、複数のデータセットおよび学習設定において、カリキュラム学習がいつモデルの学習を改善するかを体系的に評価することで、カリキュラム、逆カリキュラム、ランダムカリキュラムスケジュールの効果を調査している。結果として、標準的な全エポック学習では明示的なカリキュラムに恩恵は見られないが、制限された学習時間やノイズの多いラベルがある条件下では顕著に性能が向上することを示した。これは、カリキュラム学習の利点が例の順序付けそのものではなく、動的なデータセットサイズの増加に起因するということを示している。

ABSTRACT

Inspired by human learning, researchers have proposed ordering examples during training based on their difficulty. Both curriculum learning, exposing a network to easier examples early in training, and anti-curriculum learning, showing the most difficult examples first, have been suggested as improvements to the standard i.i.d. training. In this work, we set out to investigate the relative benefits of ordered learning. We first investigate the \emph{implicit curricula} resulting from architectural and optimization bias and find that samples are learned in a highly consistent order. Next, to quantify the benefit of \emph{explicit curricula}, we conduct extensive experiments over thousands of orderings spanning three kinds of learning: curriculum, anti-curriculum, and random-curriculum -- in which the size of the training dataset is dynamically increased over time, but the examples are randomly ordered. We find that for standard benchmark datasets, curricula have only marginal benefits, and that randomly ordered samples perform as well or better than curricula and anti-curricula, suggesting that any benefit is entirely due to the dynamic training set size. Inspired by common use cases of curriculum learning in practice, we investigate the role of limited training time budget and noisy data in the success of curriculum learning. Our experiments demonstrate that curriculum, but not anti-curriculum can indeed improve the performance either with limited training time budget or in existence of noisy data.

研究の動機と目的

• 異なるデータセットや設定において、カリキュラム学習がモデルの学習を一貫して改善するかどうかを調査すること。
• アーキテクチャーや学習実行回数を問わず、例の学習順序に安定した一貫性がある「暗黙のカリキュラム」が存在するかどうかを特定すること。
• 標準的なi.i.d.学習と比較して、明示的カリキュラム（カリキュラム、逆カリキュラム、ランダムカリキュラム）の有効性をさまざまな学習設定で評価すること。
• 大規模またはノイズの多い設定において、カリキュラム学習が測定可能な性能優位性を提供する条件を理解すること。

提案手法

• 著者らは、CIFAR-10、CIFAR-100、FOOD101、FOOD101Nの4つのデータセットを用い、ResNet-50を用いて25,000を超えるモデルをトレーニングした。
• 3つの学習順序を評価した：カリキュラム（簡単な例から難しい例へ）、逆カリキュラム（難しい例から簡単な例へ）、ランダムカリキュラム（動的なデータセットサイズの増加を伴うランダム順序）。
• 例の順序付けと学習進行を定義するために、複数の難易度スコア関数とペーシング関数（例：線形、指数関数）を用いた。
• 3つの学習レジームで実験を実施した：標準的な全エポック学習、制限時間付き学習（反復回数を減らした）、ノイズラベル学習（ラベルの不正を含む）。
• テスト精度を指標として性能を測定し、各設定で3～72回の独立した実行を経て統計的比較を実施し、結果の信頼性を確保した。
• 学習順序の実行間およびアーキテクチャ間の一貫性を分析し、暗黙のカリキュラムの存在を確立した。

実験結果

リサーチクエスチョン

• RQ1 異なる学習実行回数、アーキテクチャ、タスクにおいて、例が一貫した順序で学習されるか。これは、暗黙のカリキュラムの存在を示唆するか。
• RQ2 標準的な全エポック学習設定において、明示的カリキュラム学習は、標準的なi.i.d.学習と比較して一般化性能や収束速度を向上させるか。
• RQ3 学習時間に制限がある場合、またはラベルにノイズがある場合、カリキュラム学習は性能優位性を示すか。
• RQ4 カリキュラム学習の利点は、例の順序付けに起因するのか、それとも動的なトレーニングセットサイズの増加に起因するのか。
• RQ5 異なるペーシング関数や難易度スコア関数は、カリキュラムの有効性にどのように影響するか。

主な発見

• 暗黙のカリキュラムが存在する：異なる実行回数、アーキテクチャ、学習手法において、例の学習順序が極めて一貫しており、サンプルの難易度に安定した概念が存在することが示された。
• 標準的な全エポック学習では、カリキュラム、逆カリキュラム、ランダムカリキュラムは、標準的なi.i.d.学習とほぼ同等の性能を示し、明示的な順序付けによる恩恵は見られなかった。
• 学習時間の制限がある状況では、カリキュラム学習がi.i.d.、逆カリキュラム、ランダムカリキュラム学習を顕著に上回り、時間的制約下での明確な優位性を示した。
• ラベルにノイズがある状況では、カリキュラム学習が他の手法、特に標準的なi.i.d.学習よりも強固な性能向上を示した。
• 時間制限やノイズのある状況におけるカリキュラム学習の性能向上は、主に例の順序付けではなく、動的なトレーニングセットサイズの増加に起因している。
• 結果はデータセットに一般化される：同じパターンがCIFARおよび大規模なFOOD101/FOOD101Nデータセットの両方で成立した。