[論文レビュー] Universum Prescription: Regularization using Unlabeled Data

Xiang Zhang, Yann LeCun|arXiv (Cornell University)|Nov 11, 2015

Advanced Neural Network Applications参考文献 57被引用数 3

ひとこと要約

本稿では、未ラベルデータに「上記のいずれとも異なる」ラベルを割り当てることで、一般化性能を向上させるシンプルでありながら効果的な正則化手法であるUniversum prescriptionを提案する。未ラベルサンプルを教師ありクラスとは異なる普遍的集合に属するものとして扱うことで、CIFAR-10、CIFAR-100、STL-10、ImageNetの全データセットで一般化誤差が低減され、特に学習可能なパrameterizationを持つdustbinクラスバージョンが他の手法を上回る性能を示した。

ABSTRACT

This paper shows that simply prescribing "none of the above" labels to unlabeled data has a beneficial regularization effect to supervised learning. We call it universum prescription by the fact that the prescribed labels cannot be one of the supervised labels. In spite of its simplicity, universum prescription obtained competitive results in training deep convolutional networks for CIFAR-10, CIFAR-100, STL-10 and ImageNet datasets. A qualitative justification of these approaches using Rademacher complexity is presented. The effect of a regularization parameter -- probability of sampling from unlabeled data -- is also studied empirically.

研究の動機と目的

• 未ラベルデータに「上記のいずれとも異なる」ラベルを割り当てることが、深層学習における有効な正則化手法として機能するかどうかを調査すること。
• 一様分布、dustbinクラス、背景クラスといった異なる「上記のいずれとも異なる」ラベル割り当て戦略が、モデルの一般化性能に与える影響を評価すること。
• Rademacher複雑度を用いた理論的裏付けを提供し、複数のベンチマークデータセットにおける手法の有効性を実験的に検証すること。
• 正則化パrameter、すなわち未ラベルデータからサンプリングする確率が、モデルの性能および安定性に与える影響を分析すること。

提案手法

• 本手法は、未ラベルデータにアグノスティックなターゲットを割り当てる：すべてのクラスに一様分布を適用、または専用の「dustbin」クラスを追加、あるいは閾値を設定した背景クラスを採用する。
• ラベル付きクラスは未ラベル分布において無視できるほど小さいものと仮定し、未ラベルサンプルがいかなる教師ありクラスにも属しないように保証する。
• 損失関数は負の対数尤度に基づく。訓練中は、確率pで未ラベルサンプルをランダムにサンプリングし、モデルを更新する。
• dustbinクラスは出力層に追加のクラスを追加することで実装され、未ラベルデータの専用表現を学習可能にする。
• 背景クラスは一定の閾値を用いることでパラメータ化を回避し、より単純だが、より適応性に欠ける代替手法を提供する。
• Rademacher複雑度を用いた理論的裏付けが提供され、一般化誤差が未ラベルデータを含む統合問題によって有界であることが示された。

実験結果

リサーチクエスチョン

• RQ1 未ラベルデータに「上記のいずれとも異なる」ラベルを割り当てることで、深層ニューラルネットワークの一般化ギャップを低減できるか？
• RQ2 一様、dustbinクラス、背景クラスといった異なるラベル割り当て戦略が、モデルの性能および一般化に与える影響は何か？
• RQ3 正則化パラメータp（未ラベルデータからのサンプリング確率）の最適値は何か？
• RQ4 大量の未ラベルデータを用いた場合、Universum prescriptionはモデルの安定性および分散を向上させるか？
• RQ5 ドロップアウトやその他の標準的正則化手法と比較して、Universum prescriptionはどの程度効果的か？

主な発見

• dustbinクラス手法は、全データセットで一貫して最良のテスト誤差を達成し、一様分布および背景クラス手法を上回った。
• CIFAR-10、CIFAR-100、STL-10において、Universum prescriptionは一般化ギャップを低減した。特に大量の未ラベルデータを用いた場合、その効果が顕著に現れた。
• 正則化パラメータpを増加させることで一般化ギャップは低下するが、一定の点を超えると未ラベルデータへの過剰依存により訓練が崩壊した。
• 本手法の正則化効果はドロップアウトと同等であり、両者を併用しても顕著な追加利益は得られなかった。
• 実験結果から、未ラベルデータ量が増えるにつれて、訓練誤差およびテスト誤差の分散が減少し、モデルの安定性が向上することが示された。
• Rademacher複雑度を用いた理論的分析により、未ラベルデータにUniversum prescriptionを適用することで、一般化境界が改善されることを裏付ける結果が得られた。