[論文レビュー] A Flexible Approach to Automated RNN Architecture Generation

Martin Schrimpf, Stephen Merity+2 more|arXiv (Cornell University)|Dec 20, 2017

Topic Modeling参考文献 19被引用数 11

ひとこと要約

本論文は、再帰的ニューラルネットワーク（RNN）アーキテクチャの柔軟で自動的な生成を可能にするドメイン固有言語（DSL）を提案している。このDSLを用いることで、ランダムサーチおよび強化学習を用いて、人間の直感に反する非直感的なRNN構造の発見が可能となる。DSLは任意の深さと幅をサポートし、標準的でない演算子（例：三角関数、レイヤー正則化）も含む。言語モデリングおよび機械翻訳タスクにおいて、人間の直感に反する構造であるにもかかわらず、ベースラインを上回る性能を発揮するアーキテクチャを生成している。

ABSTRACT

The process of designing neural architectures requires expert knowledge and extensive trial and error. While automated architecture search may simplify these requirements, the recurrent neural network (RNN) architectures generated by existing methods are limited in both flexibility and components. We propose a domain-specific language (DSL) for use in automated architecture search which can produce novel RNNs of arbitrary depth and width. The DSL is flexible enough to define standard architectures such as the Gated Recurrent Unit and Long Short Term Memory and allows the introduction of non-standard RNN components such as trigonometric curves and layer normalization. Using two different candidate generation techniques, random search with a ranking function and reinforcement learning, we explore the novel architectures produced by the RNN DSL for language modeling and machine translation domains. The resulting architectures do not follow human intuition yet perform well on their targeted tasks, suggesting the space of usable RNN architectures is far larger than previously assumed.

研究の動機と目的

• 既存の自動RNNアーキテクチャ探索手法の制限を解消すること。特に、柔軟性とコンポonentの多様性に制限があること。
• 高表現力を持つドメイン固有言語（DSL）を用いて、人間が設計したパターンを超えた新しいRNNアーキテクチャの発見を可能にすること。
• 自動探索によって生成されたアーキテクチャ、特に非標準的演算子を用いたものも含めて、実世界のNLPタスクで強力な性能を発揮するかを検証すること。
• ランダムサーチにランク関数を組み合わせた手法と強化学習の2つの候補生成戦略の有効性を評価すること。

提案手法

• RNNアーキテクチャを、単項演算子（例：ReLU、Sigmoid）、二項演算子（例：Add、Mult）、三項演算子（例：Gate3）を含む演算の木構造として表現するドメイン固有言語（DSL）を定義する。
• DSLは任意の深さと幅をサポートし、中間ノードの再利用を可能にするとともに、ノード番号による長期間記憶状態（c_t）のモデル化を可能にする。
• 再帰的ニューラルネットワークに基づくランク関数を用い、DSL表現を展開することで、時間的変化における隠れ状態ダイナミクスをモデル化し、モデル性能を予測する。
• 2つの候補生成戦略を採用する：(1) ランク関数でガイドされたランダムサーチ、(2) REINFORCEを用いた強化学習によるアーキテクチャ提案の最適化。
• 生成された候補アーキテクチャはコンパイルされ、下流タスク（例：言語モデリング、機械翻訳）で評価され、ランク関数および生成器の再訓練にフィードバックを提供する。
• DSLは、サインカーブ、除法、レイヤー正則化など非標準的コンポーネントをサポートし、従来のRNNコンポーネントを超えた探索空間を拡張する。

実験結果

リサーチクエスチョン

• RQ1 柔軟なDSLは、LSTM や GRU といった標準モデルを上回る性能を発揮する新しいRNNアーキテクチャの自動発見を可能にするか？
• RQ2 自動探索によって生成されたアーキテクチャ、特に非標準的演算子を用いたもので、人間の直感に反するにもかかわらず、どれほど優れた性能を発揮するか？
• RQ3 ランダムサーチにランク関数を組み合わせた手法と強化学習の両者において、高性能なRNNアーキテクチャを発見する有効性はどの程度か？
• RQ4 生成されたアーキテクチャの性能は、データセットに一般化されるのか、それともトレーニングデータのサイズや分布に敏感か？
• RQ5 損失やBLEUスコアといった標準的指標は、モデルの質的性能とどの程度相関しているか？

主な発見

• DSLは、Multi30k翻訳データセットにおいて、LSTMベースライン（34.05）を上回るテストBLEUスコア36.53を達成した、新しいRNNアーキテクチャを成功裏に生成した。
• レイヤー正則化を施した5層のネストされたGate3アーキテクチャは、Multi30kで検証損失5.66、テストBLEU36.35を達成し、LSTMベースラインを上回った。
• より大きなIWSLT’16データセットでは、最良の生成アーキテクチャがテストBLEU23.04を達成し、LSTMベースライン（24.39）をわずかに上回ったが、データセット間での性能は一貫性に欠けた。
• サインカーブや除法といった非標準的コンポーネントを組み込んだアーキテクチャは優れた性能を示し、RNNの有用な探索空間が従来の想定をはるかに超えていることを示唆した。
• 検証損失とBLEUスコアの間には最適でない相関関係が見られ、ある指標では高いスコアを達成しても他方では低いスコアを示すモデルが存在した。これは、現在の評価指標の限界を示している。
• 強化学習エージェントおよびランク関数は時間経過とともに改善され、評価結果からのフィードバックを通じて、生成器は次第により優れたアーキテクチャを提案するよう学習した。