[論文レビュー] ScreenerNet: Learning Self-Paced Curriculum for Deep Neural Networks

Taehoon Kim, Jonghyun Choi|arXiv (Cornell University)|Jan 3, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 21

ひとこと要約

ScreenerNet は、トレーニングの難易度に応じて動的にサンプル重みを割り当てるアタッチ可能なニューラルネットワークを用いた、エンドツーエンドで自己-pacedなカリキュラム学習フレームワークを提案する。このフレームワークは、教師ありビジョンタスクおよびディープ強化学習の両方で、収束速度の向上と精度の向上を実現する。ScreenerNet は、Prioritized Experience Replay や他の最先端手法を凌駆し、過去の損失を記憶する必要がないため、サンプリングバイアスを回避する。

ABSTRACT

We propose to learn a curriculum or a syllabus for supervised learning and deep reinforcement learning with deep neural networks by an attachable deep neural network, called ScreenerNet. Specifically, we learn a weight for each sample by jointly training the ScreenerNet and the main network in an end-to-end self-paced fashion. The ScreenerNet neither has sampling bias nor requires to remember the past learning history. We show the networks augmented with the ScreenerNet achieve early convergence with better accuracy than the state-of-the-art curricular learning methods in extensive experiments using three popular vision datasets such as MNIST, CIFAR10 and Pascal VOC2012, and a Cart-pole task using Deep Q-learning. Moreover, the ScreenerNet can extend other curriculum learning methods such as Prioritized Experience Replay (PER) for further accuracy improvement.

研究の動機と目的

• ハードディシジョン型カリキュラム学習の限界、たとえばサンプリングバイアスやサンプル選択のための手作業で設計されたルールに依存することを是正すること。
• 教師あり学習およびディープ強化学習の両方において、深層ニューラルネットワークのトレーニングをより高速かつ高精度にすること。
• 歴史的な損失値を記憶する必要や、サンプルの重要性を推定するために複数回のトレーニングランを実行する必要がないようにすること。
• 既存のカリキュラム手法（たとえば Prioritized Experience Replay）と組み合わせられる汎用的でエンドツーエンドでトレーニング可能なフレームワークを構築すること。
• 埋め込み型システムやインクリメンタル学習システムに適した、実時間でのモデル更新を想定した、軽量でメモリを必要としない誤差推定器を提供すること。

提案手法

• ScreenerNet は、メインネットワークとエンドツーエンドで同時にトレーニングされる補助ニューラルネットワークであり、各トレーニングサンプルの重要性（重み）を予測する。
• 重要性は、サンプルがメインネットワークの性能向上に寄与する可能性の高さとして定義され、難易度の高いサンプルほど高い重みが割り当てられる。
• この手法は、各トレーニングステップで学習の潜在的が高いサンプルに注目するよう促す自己-paced学習の目的関数を用いる。
• サンプル重みは、ScreenerNet の微分可能な回帰ヘッドによって学習され、メインネットワークによる正しく分類される確率を推定する。
• このフレームワークは過去の損失を記憶せず、他の先行手法とは異なり、二度目のトレーニングランも不要である。
• ScreenerNet とメインネットワークとのパラメータ共有を検討したが、性能が低下したため、ScreenerNet はメインネットワークとは別個で学習する、補完的な目的関数を学習していることが示された。

実験結果

リサーチクエスチョン

• RQ1 学習可能で微分可能なサンプル重み付け機構は、深層ニューラルネットワークのトレーニング速度と精度を向上させることができるか？
• RQ2 ScreenerNet を用いてエンドツーエンドで学習される自己-pacedカリキュラムは、手作業で設計されたか、記憶に基づくカリキュラム手法と比較してどのように異なるか？
• RQ3 ScreenerNet は、Prioritized Experience Replay などの既存のサンプリングベースの手法と効果的に組み合わせられるか？
• RQ4 ScreenerNet の動的重み付けは、固定またはヒューリスティックベースのカリキュラム戦略と比較して、サンプリングバイアスを低減し、一般化性能を向上させるか？
• RQ5 ScreenerNet は、特に埋め込み型またはインクリメンタル学習システムにおいて、リアルタイムの誤差推定器として機能できるか？

主な発見

• ScreenerNet は、Deep Q-learning を用いた Cart-pole 強化学習タスクにおいて、最先端のカリキュラム学習手法を上回る収束速度と最終的な精度を達成した。
• 教師ありビジョンタスクでは、Pascal VOC2012、CIFAR10、MNIST の3つのデータセットで、収束速度と最終性能の両方において一貫した向上を示した。
• トレーニング速度と最終精度の両面で、Prioritized Experience Replay (PER) を上回り、組み合わせて使用することで PER の性能をさらに向上させることができた。
• 可視化分析の結果、ScreenerNet は、4 と 9 のような区別が難しいクラスにおいて、ベースラインと比較して誤分類の混乱パターンを低減していることがわかった。
• ScreenerNet で高い重みが割り当てられたサンプルは、視覚的に曖昧で分類が難しいものであり、低重みのサンプルは明確に区別可能なものであることが確認され、この手法が意味のある難易度信号を学習していることが裏付けられた。
• ScreenerNet とメインネットワークとのパラメータ共有は精度を低下させたため、ScreenerNet はメインネットワークの学習とは別個で、補完的かつ非冗長な目的関数を学習していることが示された。