[論文レビュー] Self-supervised Neural Architecture Search

Sapir Kaplan, Raja Giryes|arXiv (Cornell University)|Jul 3, 2020

Anomaly Detection Techniques and Applications参考文献 44被引用数 11

ひとこと要約

本稿では、対照的自己教師あり損失を用いることで、ラベル付きデータに依存せずに高性能なニューラルネットワークアーキテクチャを発見する自己教師ありニューラルアーキテクチャサーチ（SSNAS）を提案する。この手法は教師ありNASの性能に匹敵し、ラベルが限られる状況でも自己教師あり学習を向上させる。NASとSSLが互いに補い合う可能性を示している。

ABSTRACT

Neural Architecture Search (NAS) has been used recently to achieve improved performance in various tasks and most prominently in image classification. Yet, current search strategies rely on large labeled datasets, which limit their usage in the case where only a smaller fraction of the data is annotated. Self-supervised learning has shown great promise in training neural networks using unlabeled data. In this work, we propose a self-supervised neural architecture search (SSNAS) that allows finding novel network models without the need for labeled data. We show that such a search leads to comparable results to supervised training with a "fully labeled" NAS and that it can improve the performance of self-supervised learning. Moreover, we demonstrate the advantage of the proposed approach when the number of labels in the search is relatively small.

研究の動機と目的

• 現在のニューラルアーキテクチャサーチ（NAS）手法が、効果的なアーキテクチャ探索のための大規模なラベル付きデータセットに依存しているという制限を解決すること。
• 自己教師あり学習（SSL）を活用することで、ラベルなしのデータのみを用いてもアーキテクチャ探索を効果的に行えるかどうかを調査すること。
• 自己教師ありNASが、下流の自己教師あり表現学習の性能を向上させられることを検証すること。
• 探索中にラベル付き例が少数しか利用できない状況でも、提案手法の頑健性を評価すること。
• NASとSSLの相乗効果を実証すること。NASがSSLを向上させ、SSLがNASの探索効率と性能を向上させることを示す。

提案手法

• 教師あり損失の代わりに対照的自己教師あり損失を用いるように、微分可能アーキテクチャサーチ（DARTS）フレームワークを適応する。
• 同じ入力画像の2つの拡張ビューを生成し、それらの表現の類似度を最大化するように、SimCLRの対照的学習目的を適用する。
• 両方の拡張ビューに重みを共有する共通のバックボーンネットワークを用い、勾配ベース最適化によるエンドツーエンド学習を可能にする。
• アーキテクチャパラメータαを最適化することでアーキテクチャ探索を実行し、別々の訓練セットでネットワーク重みを学習する。
• 標準的なGPUメモリに収まるようバッチサイズを制限し、計算効率と実用性を確保する。
• 同一画像の拡張ビュー（ポジティブペア）の表現を類似させ、異なる画像のペア（ネガティブペア）を不一致にさせる対照的損失関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習を用いることで、ラベルなしの状況でもニューラルアーキテクチャサーチを効果的に行えるか？
• RQ2 自己教師ありNASは、最終的なモデル精度において教師ありNASと同等の性能を達成できるか？
• RQ3 自己教師あり探索によって発見されたアーキテクチャは、下流の自己教師あり表現学習の性能を向上させられるか？
• RQ4 教師ありNASが苦戦するようなラベルが少ない状況で、SSNASはどのように性能を発揮するか？
• RQ5 NASとSSLの相乗効果により、単独で用いる場合よりも優れた視覚表現が得られるか？

主な発見

• SSNASはCIFAR-10およびCIFAR-100で教師ありNASと同等のテスト精度を達成し、ラベルなしでもアーキテクチャ探索が有効であることを示している。
• CIFAR-10では、1次近似を用いたSSNASが94.73%のテスト精度を達成し、教師ありDARTSの94.87%に非常に近い性能を示した。
• ラベルが少ない状況では、SSNASが教師ありNASを上回り、クラス1つあたり少数のラベル例しか利用できない状況でも頑健であることが示された。
• SSNASで発見されたモデルを事前学習に用いることで、STL-10における半教師あり学習の性能が向上し、86.70%のテスト精度を達成した。これはResNet-18やランダム初期化よりも優れた結果であった。
• 探索中に訓練集合と検証集合を分離したことで、1つの共有集合を使用した場合に比べて性能が0.63%向上した。これは、SSLベースのNASにおいてデータ分離の利点を裏付けた。
• 本研究では、NASとSSLが互いに補い合うことが確認された。SSNASはSSLを強化し、SSLはラベルなしでの効果的なNASを可能にした。