[論文レビュー] Rethinking Curriculum Learning with Incremental Labels and Adaptive Compensation

Madan Ravi Ganesh, Jason J. Corso|arXiv (Cornell University)|Jan 13, 2020

Machine Learning and Data Classification参考文献 46被引用数 6

ひとこと要約

本稿では、サンプルの難易度ではなくラベルを段階的に導入する新しいcurriculum learning手法LILACを提案する。2段階のプロセスで構成される：(1) 段階的ラベル導入：固定サイズのバッチで正例ラベルを段階的に公開し、未確認クラスには偽ラベルを使用する。 (2) 自适应補正：以前に誤分類されたサンプルのターゲットベクトルを平滑化する。LILACはCIFAR-10、CIFAR-100、STL-10ベンチマークにおいて、バッチ学習および既存のcurriculum学習・ラベルスムージング手法を上回る性能を発揮する。

ABSTRACT

Like humans, deep networks have been shown to learn better when samples are organized and introduced in a meaningful order or curriculum. Conventional curriculum learning schemes introduce samples in their order of difficulty. This forces models to begin learning from a subset of the available data while adding the external overhead of evaluating the difficulty of samples. In this work, we propose Learning with Incremental Labels and Adaptive Compensation (LILAC), a two-phase method that incrementally increases the number of unique output labels rather than the difficulty of samples while consistently using the entire dataset throughout training. In the first phase, Incremental Label Introduction, we partition data into mutually exclusive subsets, one that contains a subset of the ground-truth labels and another that contains the remaining data attached to a pseudo-label. Throughout the training process, we recursively reveal unseen ground-truth labels in fixed increments until all the labels are known to the model. In the second phase, Adaptive Compensation, we optimize the loss function using altered target vectors of previously misclassified samples. The target vectors of such samples are modified to a smoother distribution to help models learn better. On evaluating across three standard image benchmarks, CIFAR-10, CIFAR-100, and STL-10, we show that LILAC outperforms all comparable baselines. Further, we detail the importance of pacing the introduction of new labels to a model as well as the impact of using a smooth target vector.

研究の動機と目的

• 従来のcurriculum learningがサンプルの難易度に基づいてデータを段階的に導入し、訓練を部分的なデータに制限するという限界を是正するため、本研究では訓練全期間を通じてすべてのデータを活用する手法を提案する。
• サンプルの難易度からラベルの段階的学習へとcurriculum learningの枠組みを再考することで、モデルの一般化性能を向上させる。
• 過去のモデル予測に基づき、誤分類されたサンプルのターゲットベクトルを平滑化する自适应的補正を導入することで、表現学習を強化する。
• 段階的ラベル導入と自适应的補正を組み合わせたアプローチが、バッチ学習、curriculum学習、ラベルスムージングの各手法に比べて優れた性能を発揮することを実証する。

提案手法

• 本手法は2段階のプロセス、すなわち段階的ラベル導入（IL）と自适应的補正（AC）を導入する。
• IL段階では、データが正例ラベル（GT）の集合と、残りのデータ（偽ラベルρを有する）の集合に分割され、後者は負例として扱われる。
• 新しいGTラベルは時間経過とともに固定サイズのインクリメントで公開され、モデルは1つのクラスずつ学習しながら、すべての利用可能なデータを活用できる。
• AC段階では、過去のバージョンのネットワークが訓練サンプルを分類する。誤分類が発生した場合、そのターゲットベクトルはより滑らかくなるように置き換えられる。
• 平滑化は、予測クラスに高い確率を割り当てるとともに、他のクラスにも確率を分散させるパラメータ化されたターゲットベクトルによって実装され、平滑化の程度を制御するハイパーパrameterが存在する。
• 本手法は外部の難易度評価を回避し、訓練全期間を通じて全データを活用するため、計算負荷を低減し、サンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 サンプルの難易度ではなく、ラベルの段階的導入が、モデル性能の向上に寄与するか？
• RQ2 誤分類されたサンプルに対してターゲットベクトルを平滑化する自适应的補正は、一般化性能と表現品質の向上に寄与するか？
• RQ3 ラベル導入のペース（速度）は、モデルの収束性と精度にどのような影響を及ぼすか？
• RQ4 段階的ラベル学習と自适应的補正を組み合わせたアプローチが、標準的なバッチ学習および既存のcurriculum学習・ラベルスムージング手法に比べて、どの程度優れているか？

主な発見

• LILACはCIFAR-10で最先端の性能を達成し、バッチ学習および既存のcurriculum学習・ラベルスムージング手法を上回る。
• CIFAR-100では、73.57 ± 0.963のtop-1精度を達成し、バッチ学習ベースラインを顕著に上回った。
• IL段階のみ（ACなし）でも、バッチ学習を上回る性能を発揮しており、段階的ラベル学習が表現学習を強化することを示している。
• 自适应的補正は、ILのみのベースラインに比べて明確な性能向上をもたらし、すべてのベンチマークでLILACが最終的な精度でそれを上回った。
• 最適な平滑化パラメータε = 0.5がCIFAR-10で最高の性能（95.38 ± 0.135のtop-1精度）を達成したが、極端な値（例：ε = 0.2 または 0.7）は性能を劣化させた。
• 結果から、IL段階における1インターバルあたりの新規ラベル数を少数（例：m = 1 または 2）に抑えることで、より優れた性能が得られることを示しており、ペース（進行の速さ）の重要性が浮き彫りになった。