[論文レビュー] An Analysis of Unsupervised Pre-training in Light of Recent Advances

Tom Le Paine, Pooya Khorrami+2 more|arXiv (Cornell University)|Dec 20, 2014

Advanced Neural Network Applications参考文献 18被引用数 38

ひとこと要約

この論文は、ReLU活性化関数と最近の正則化技術を統合することで、現代の深層学習における教師なし事前学習を調査し、教師なしデータが豊富な場合には性能向上を示すが、教師ありデータが優勢な場合には精度を低下させることを明らかにした。色の増幅を用いた事前学習により、STL-10で準SOTA（最先端に近い）の結果を達成した。

ABSTRACT

Convolutional neural networks perform well on object recognition because of a number of recent advances: rectified linear units (ReLUs), data augmentation, dropout, and large labelled datasets. Unsupervised data has been proposed as another way to improve performance. Unfortunately, unsupervised pre-training is not used by state-of-the-art methods leading to the following question: Is unsupervised pre-training still useful given recent advances? If so, when? We answer this in three parts: we 1) develop an unsupervised method that incorporates ReLUs and recent unsupervised regularization techniques, 2) analyze the benefits of unsupervised pre-training compared to data augmentation and dropout on CIFAR-10 while varying the ratio of unsupervised to supervised samples, 3) verify our findings on STL-10. We discover unsupervised pre-training, as expected, helps when the ratio of unsupervised to supervised samples is high, and surprisingly, hurts when the ratio is low. We also use unsupervised pre-training with additional color augmentation to achieve near state-of-the-art performance on STL-10.

研究の動機と目的

• 最近の進展（ReLU、ドロップアウト、データ増強など）を踏まえ、教師なし事前学習が依然として有益であるかどうかを評価すること。
• ReLUや教師なし正則化といった現代の深層学習技術を統合した新しい教師なし事前学習手法を設計すること。
• CIFAR-10における教師なしデータと教師ありデータの比率を変化させた状況下で、教師なし事前学習がデータ増強やドロップアウトに比べて性能に与える影響を評価すること。
• 追加のベンチマークとしてSTL-10を用い、事前学習と色の増幅を組み合わせた手法の有効性を検証すること。

提案手法

• ReLU活性化関数と最近の教師なし正則化技術を統合した教師なし事前学習手法を開発した。
• 提案手法を用いて大規模な教師なしデータ上で畳み込みニューラルネットワークを学習した後、教師ありデータで微調整した。
• CIFAR-10において、教師なしデータと教師ありデータの比率を変化させた状況で、事前学習有無の性能を比較した。
• STL-10において、追加の色の増幅を組み合わせた事前学習手法を適用し、一般化性能および性能向上を検証した。

実験結果

リサーチクエスチョン

• RQ1 ReLU やドロップアウトといった現代の技術が導入された状況下でも、教師なし事前学習は依然として利点を提供するのか？
• RQ2 教師なしデータと教師ありデータの比率が、教師なし事前学習の有効性にどのように影響するのか？
• RQ3 異なるデータ環境下で、教師なし事前学習はデータ増強やドロップアウトに比べて性能を向上させるのか、それとも低下させるのか？
• RQ4 教師なし事前学習とデータ増強を組み合わせることで、STL-10で準SOTA性能を達成できるのか？

主な発見

• 教師なしデータと教師ありデータの比率が高くなると、教師なし事前学習が性能を向上させることを確認し、低教師あり環境下での価値を裏付けた。
• 驚くべきことに、教師なしデータと教師ありデータの比率が低い場合には、教師なし事前学習が性能を低下させることを発見し、潜在的な悪影響を示した。
• ReLUと教師なし正則化を組み合わせた本手法により、下流タスクにおけるモデルの一般化性能を高める有効な事前学習が可能となった。
• STL-10では、教師なし事前学習と色の増幅を組み合わせることで、準SOTAの性能を達成した。実用的有効性を示した。