[論文レビュー] NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing

Nikita Klyuchnikov, Ilya Trofimov+4 more|arXiv (Cornell University)|Jun 12, 2020

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

この論文は、再帰的ニューラルネットワーク（RNN）に基づく自然言語処理（NLP）のための神経ネットワークアーキテクチャ探索（NAS）ベンチマークであるNAS-Bench-NLPを紹介する。14,000のRNNアーキテクチャを言語モデリングタスクで事前に学習させた性能指標を提供しており、内在的（語の類似性）および外在的（GLUE）タスクにおける再現性のある評価とNASアルゴリズムのベンチマークが可能である。LSTMとGRUは一貫して優れた性能を示している。

ABSTRACT

Neural Architecture Search (NAS) is a promising and rapidly evolving research area. Training a large number of neural networks requires an exceptional amount of computational power, which makes NAS unreachable for those researchers who have limited or no access to high-performance clusters and supercomputers. A few benchmarks with precomputed neural architectures performances have been recently introduced to overcome this problem and ensure more reproducible experiments. However, these benchmarks are only for the computer vision domain and, thus, are built from the image datasets and convolution-derived architectures. In this work, we step outside the computer vision domain by leveraging the language modeling task, which is the core of natural language processing (NLP). Our main contribution is as follows: we have provided search space of recurrent neural networks on the text datasets and trained 14k architectures within it; we have conducted both intrinsic and extrinsic evaluation of the trained models using datasets for semantic relatedness and language understanding evaluation; finally, we have tested several NAS algorithms to demonstrate how the precomputed results can be utilized. We believe that our results have high potential of usage for both NAS and NLP communities.

研究の動機と目的

• NLPにおける再現可能でアクセス可能なNASベンチマークの不足に応えるために、RNNベースのアーキテクチャのための事前計算済みベンチマークを構築すること。
• 膨大なトレーニングリソースを要せず、公平で効率的なNASアルゴリズムの比較を可能にすること。
• 内在的（語の埋め込み）および外在的（GLUE）NLPタスクにおけるアーキテクチャの性能を評価すること。
• 同じ探索空間上で複数のNASアルゴリズムをテストすることにより、ベンチマークの有用性を実証すること。
• すべてのトレーニング済みアーキテクチャと性能指標を公開し、コミュニティ全体の研究とモデル比較を支援すること。

提案手法

• LSTM、GRU、その他のRNN変種を含む、新しいRNN由来の探索空間を定義し、接続性やセルタイプを設定可能とした。
• 標準的なテキストデータセットを用いて、言語モデリングタスクで14,000の独自アーキテクチャをトレーニングした。
• 静的語の埋め込みにおける語の類似性テストを通じて、内在的評価を実施した。
• 下流のGLUEベンチマークタスクを用いて、転移性能を評価する外在的評価を実施した。
• NASアルゴリズムベンチマークのため、トレーニングのウォールタイム、バリデーションのパープレキシティ、テストの対数パープレキシティを測定するシミュレーション環境を実装した。
• ベイズ最適化などのNAS手法に使用可能な低次元の特徴空間へのアーキテクチャグラフの埋め込みとして、graph2vecを用いた。

実験結果

リサーチクエスチョン

• RQ1 内在的および外在的指標の両方を用いて評価した場合、RNNベースのアーキテクチャはさまざまなNLPタスクでどのように性能を発揮するか？
• RQ2 大規模なRNN探索空間からの事前計算済み性能データは、効果的かつ効率的なNASアルゴリズムベンチマークに有効に機能するか？
• RQ3 探索空間内のランダムに抽出されたアーキテクチャと比較して、手作業で設計されたアーキテクチャ（例：LSTMやGRU）は全体的にどのように性能を発揮するか？
• RQ4 パーサープレキシティの性能は、さまざまな言語モデリングデータセット間で一般化する程度はどの程度か？
• RQ5 シミュレートされたNAS設定において、事前計算済み指標を用いた場合、異なるNASアルゴリズム（例：Hyperband、ベイズ最適化）の性能はどの程度か？

主な発見

• ベンチマークには、言語モデリングおよび下流のGLUEタスクにおける完全な性能指標を備えた14,000の事前学習済みRNNアーキテクチャが含まれている。
• LSTMおよびGRUアーキテクチャは、常に最低のテスト対数パープレキシティ（L* = 4.36）を達成しており、グローバルスケールで優れた性能を示していることが確認された。
• データセット間でのパフォーマンスに高い相関関係が見られたため、あるデータセットでの結果が他のデータセットでのパフォーマンスを予測可能であることが示された。
• NASアルゴリズムベンチマークにおいて、Hyperbandが最小の最終レジストを達成した。次いで、50次元のgraph2vec特徴を用いたベイズ最適化がそれに続いた。
• パープレキシティ値の分布は最適解に偏っておらず、優れたアーキテクチャはまれであり、ランダムサーチでは容易に見つからないことが示された。
• ベンチマークにより、LSTMやGRUと同等の性能を示す代替アーキテクチャが複数発見され、新たな効果的なRNN設計の可能性が示唆された。