[論文レビュー] Transfer Learning to Learn with Multitask Neural Model Search

Catherine Wong, Andréa Gesmundo|arXiv (Cornell University)|Oct 30, 2017

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 5

ひとこと要約

本稿では、複数のタスクにわたる最適なニューラルネットワークアーキテクチャを同時に探索しながら、転移学習可能な知識を学習する強化学習フレームワーク、マルチタスクニューラルモデル探索（MNMS）を提案する。事前学習により過去のタスクで学習した知識を活用することで、MNMSは新しいタスクの探索を加速し、人間が設計したモデルを上回る性能を発揮しながらも、精度を損なわず、より速い収束を達成する。

ABSTRACT

Deep learning models require extensive architecture design exploration and hyperparameter optimization to perform well on a given task. The exploration of the model design space is often made by a human expert, and optimized using a combination of grid search and search heuristics over a large space of possible choices. Neural Architecture Search (NAS) is a Reinforcement Learning approach that has been proposed to automate architecture design. NAS has been successfully applied to generate Neural Networks that rival the best human-designed architectures. However, NAS requires sampling, constructing, and training hundreds to thousands of models to achieve well-performing architectures. This procedure needs to be executed from scratch for each new task. The application of NAS to a wide set of tasks currently lacks a way to transfer generalizable knowledge across tasks. In this paper, we present the Multitask Neural Model Search (MNMS) controller. Our goal is to learn a generalizable framework that can condition model construction on successful model searches for previously seen tasks, thus significantly speeding up the search for new tasks. We demonstrate that MNMS can conduct an automated architecture search for multiple tasks simultaneously while still learning well-performing, specialized models for each task. We then show that pre-trained MNMS controllers can transfer learning to new tasks. By leveraging knowledge from previous searches, we find that pre-trained MNMS models start from a better location in the search space and reduce search time on unseen tasks, while still discovering models that outperform published human-designed models.

研究の動機と目的

• 複数のタスクに同時に自動でニューラルアーキテクチャ探索を実行し、人的な設計やグリッドサーチに依存するのを減らす。
• 過去のタスクから転移可能な知識を学習し、未学習の新しいタスクの探索を加速する。
• 各タスクに特化した高性能なモデルを発見しながらも、タスク間で共有される汎用的な学習を維持する。
• 事前学習されたMNMSコントローラーが探索空間内でより良い初期位置から出発し、探索時間の短縮と効率の向上が図られることを示す。

提案手法

• 複数のタスクを並列に処理する強化学習コントローラーを用い、子ネットワークをサンプリングおよび学習する。
• タスク固有のアーキテクチャ分布を学習しつつ、タスク間で知識を共有する共有RNNコントローラーを採用する。
• タスク間の関係を符号化するためのタスク埋め込みを導入し、転移学習を可能にする。
• 探索の進行状況を明確に可視化・分析できるようにするため、精度曲線を平滑化するためにSavitzky-Golayフィルタを適用する。
• 事前学習済みの単語埋め込みを活用するとともに、探索中に埋め込みをエンドツーエンドで学習可能にし、タスクの複雑さに適応する。
• 子ネットワークの性能に基づいてコントローラーを更新するため、ポリシー勾配最適化を用い、高報酬のアーキテクチャを優遇する。

実験結果

リサーチクエスチョン

• RQ1 1つのコントローラーが、複数の多様なタスクに同時に高い性能を発揮するアーキテクチャを効果的に探索できるか？
• RQ2 マルチタスク学習により、未学習の新しいタスクの探索効率を向上させる転移可能な知識が学習可能か？
• RQ3 MNMSフレームワークは、タスクを区別し、タスク固有の最適なハイパーパramーターやアーキテクチャを学習できるか？
• RQ4 過去のタスクでの事前学習が、新しいタスクにおける探索の収束速度と最終的な性能にどのように影響するか？
• RQ5 学習されたタスク埋め込みに、タスク間の構造的関係がどのように符号化されているか？

主な発見

• MNMSは、IMDBおよびCorpus Cineのセンチメント分類タスクにおいて、公表済みの人間が設計したモデルを上回る性能を発揮するモデルを効果的に発見した。
• 事前学習済みのMNMSコントローラーは、新しいタスクにおいて顕著に高速に収束し、探索空間内でより良い初期位置から出発する。
• MNMSによって発見された最良のモデルは、平均化された単語ベクトルを用いた最先端の手動チューニングモデルと同等またはそれ以上の性能を達成した。
• MNMSは、タスク固有の行動を学習しており、例えばSSTのような複雑なタスクでは単語埋め込みの学習を継続するが、言語識別のような単純なタスクでは固定する。
• タスク埋め込みを通じて、タスク間の意味的な相関関係が学習され、IMDBとSSTの間、およびスペイン語の言語識別とCorpus Cineの間で強い類似性が観察された。
• 事前学習されたMNMSによる転移学習は、局所最適解に偏らないことが示された。最終的な性能は初期化方法にかかわらず一貫しており、偏りがない。