[論文レビュー] Semi-Supervised Learning Enabled by Multiscale Deep Neural Network Inversion

Randall Balestriero, Hervé Glotin+1 more|arXiv (Cornell University)|Feb 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

本稿では、再正規化損失とマルチスケール再構成を用いて、頑健性と性能を向上させる、ハイパーパrameterフリーでアーキテクチャに依存しない深層ニューラルネットワーク向けの半教師あり学習フレームワークを提案する。500ラベルでSVHNで9.82%のテスト誤差、8000ラベルでCIFAR10で16.38%のテスト誤差を達成し、ハイパーパrameterチューニングなしで先行手法を上回る最先端の結果を達成している。

ABSTRACT

Deep Neural Networks (DNNs) provide state-of-the-art solutions in several difficult machine perceptual tasks. However, their performance relies on the availability of a large set of labeled training data, which limits the breadth of their applicability. Hence, there is a need for new {\em semi-supervised learning} methods for DNNs that can leverage both (a small amount of) labeled and unlabeled training data. In this paper, we develop a general loss function enabling DNNs of any topology to be trained in a semi-supervised manner without extra hyper-parameters. As opposed to current semi-supervised techniques based on topology-specific or unstable approaches, ours is both robust and general. We demonstrate that our approach reaches state-of-the-art performance on the SVHN ($9.82\%$ test error, with $500$ labels and wide Resnet) and CIFAR10 (16.38% test error, with 8000 labels and sigmoid convolutional neural network) data sets.

研究の動機と目的

• 豊富な未ラベルデータを活用することで、ラベル付きデータが限られた状況下での深層ニューラルネットワークの学習に課題に取り組むこと。
• タスク固有またはトポロジー固有のハイパーパrameterを必要とせず、DNNアーキテクチャにわたって頑健で汎用性の高い半教師あり学習フレームワークを構築すること。
• ノイズの多い入力や初期化に敏感でないマルチスケール再構成損失を導入することで、学習の安定性と性能を向上させること。
• シグモイドのような非リLU活性化関数に対しても有効な半教師あり学習を可能とし、再帰的ネットワークやその他の非リLUネットワークへの応用範囲を広げること。

提案手法

• 外部スケーリング要因に依存しないようにすることで、ハイパーパrameterチューニングの必要性を排除する再正規化損失関数を導入する。
• 複数のネットワーク層にわたる一貫性を強制することで、入力ノイズや初期化に対して頑健性を高めるマルチスケール再構成損失を提案する。
• 明示的な逆ネットワークを必要とせず、隠れ表現から入力を再構成する微分可能で近似可能な逆操作（$f^{(-1)}$と表記）を用いることで、自己教師信号を実現する。
• すべての層に均一に損失関数を適用し、複数スケールでの再構成損失を計算することで、学習の安定化と一般化性能の向上を図る。
• ラベル付きデータに対する交差エントロピーと未ラベル付きデータに対する再構成誤差を統合した統一された学習目的関数を採用し、追加のハイパーパrameterを一切不要とする。
• 活性化関数の仮定に依存しないようにすることで、ResNet やシグモイドベースのCNNを含む任意のDNNトポロジーをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterフリーでアーキテクチャに依存しない半教師あり深層学習フレームワークを設計可能か？
• RQ2 マルチスケール再構成損失は、半教師あり学習における学習の安定性と一般化性能をどのように向上させるか？
• RQ3 提案手法はハイパーパrameterチューニングなしで、SVHN や CIFAR10 といった標準ベンチマークで最先端のパフォーマンスを達成できるか？
• RQ4 シグモイドのような非リLU活性化関数への一般化はどの程度可能か？
• RQ5 ラベルの希少性や入力ノイズの変動に対して、本手法の性能はどのように変化するか？

主な発見

• 提案手法は、幅広いResNetを用いてSVHNで500ラベルのみで9.82%のテスト誤差を達成し、先行する最先端手法を上回った。
• CIFAR10では8000ラベルでシグモイドベースの畳み込みニューラルネットワークを用いて16.38%のテスト誤差を達成し、SOTAパフォーマンスを示した。
• マルチスケール再構成損失のおかげで、初期化、ラベルサンプリング、入力ノイズに対して頑健であり、学習が安定した。
• シグモイドのような非区分的アフィン活性化関数にも一般化可能であり、再帰的ネットワークや出力が有界である必要があるその他のアーキテクチャへの応用を可能にした。
• 損失関数はハイパーパrameterフリーであり、損失重み付けや学習率スケジューリングといったハイパーパラメータの交差検証の必要がなくなった。
• アーキテクチャの変更なしに、ResNet やシグモイドベースのCNNを含む多様なアーキテクチャにおいても強力な性能を維持した。