[論文レビュー] TextNAS: A Neural Architecture Search Space tailored for Text Representation

Yujing Wang, Yaming Yang+8 more|arXiv (Cornell University)|Dec 23, 2019

Topic Modeling参考文献 40被引用数 4

ひとこと要約

TextNAS は、畳み込み層、再帰層、プーリング層、自己自己注意層をマルチパスアンサンブル構造に統合した、テキスト表現向けにカスタマイズされたニューラルアーキテクチャ探索空間を提案する。ENASアルゴリズムを用いて、テキスト分類および自然言語推論タスクで最先端のモデルを上回るアーキテクチャを発見し、強力な転移性を示す最先端の性能を達成した。

ABSTRACT

Learning text representation is crucial for text classification and other language related tasks. There are a diverse set of text representation networks in the literature, and how to find the optimal one is a non-trivial problem. Recently, the emerging Neural Architecture Search (NAS) techniques have demonstrated good potential to solve the problem. Nevertheless, most of the existing works of NAS focus on the search algorithms and pay little attention to the search space. In this paper, we argue that the search space is also an important human prior to the success of NAS in different applications. Thus, we propose a novel search space tailored for text representation. Through automatic search, the discovered network architecture outperforms state-of-the-art models on various public datasets on text classification and natural language inference tasks. Furthermore, some of the design principles found in the automatic network agree well with human intuition.

研究の動機と目的

• 文献に多数存在する多様なアーキテクチャにもかかわらず、最適なテキスト表現ネットワークを設計するという課題に取り組むこと。
• 探索空間がNASにおける重要な人間の事前知識であることを示すこと、探索アルゴリズムそのものではないことを示すこと。
• 層の混合とマルチパスアンサンブルをサポートする、テキスト向けに特化したマクロレベルの探索空間を設計すること。
• テキスト分類およびNLIタスク向けに、高性能で転移性の高いアーキテクチャを自動で発見できることを実現すること。
• 自動で発見されたアーキテクチャが人間の直観と整合しており、手動で設計されたベースラインを上回ることを検証すること。

提案手法

• 畳み込み層、再帰層、プーリング層、自己自己注意層をサポートする有向非巡回グラフ（DAG）に基づくマクロ探索空間を設計すること。
• 異なる種類の層が別個の特徴抽出器として機能できるように、マルチパスアンサンブルを統合すること。
• 報酬信号として検証精度を使用するENAS強化学習アルゴリズムを用いて、最適なアーキテクチャを探索すること。
• 最良のアーキテクチャに対してグリッドサーチを実施し、検証セット上でハイパーパrameterを調整すること。
• 最良のハイパーパrameterを用いて、結合された訓練データと検証データから完全に再訓練することで最終アーキテクチャを学習すること。
• 探索プロセスを再実行せずに、発見されたアーキテクチャを他のテキストタスクに転送できることを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 カスタマイズされた探索空間は、一般的またはマイクロレベルの探索空間と比較して、テキスト表現におけるNASのパフォーマンスを顕著に向上させるか？
• RQ2 マルチパスアンサンブルを備えたマクロ探索空間は、マイクロ探索空間よりもテキスト分類タスクで優れているか？
• RQ3 TextNASを用いた自動発見アーキテクチャは、下流のテキスト分類およびNLIタスクで最先端のパフォーマンスを達成できるか？
• RQ4 自動で発見されたアーキテクチャは、どの程度人間が設計した設計原則を反映しているか？
• RQ5 発見されたアーキテクチャは、異なるテキストデータセットやタスク間でどの程度転送可能か？

主な発見

• TextNAS は、Sogouを除くすべてのテキスト分類データセットで最先端のテスト精度を達成した。YAHOOデータセットでは66.56%の精度を記録し、先行手法を上回った。
• SNLIおよびMNLI-NLIデータセットでは、SNLIで87.4%、MNLI-マッチドで74.9%の精度を達成し、24層のトランスフォーマー（それぞれ85.2%および70.4%）を顕著に上回った。
• 評価されたすべてのテキスト分類タスクにおいて、マクロ探索空間がマイクロ探索空間を上回った。AMZデータセットでは最大4.55%の向上を達成した。
• 自動で発見されたアーキテクチャは強く転移性を示し、探索プロセスの再訓練なしに複数の下流タスクで最先端の結果を達成した。
• TextNAS が発見したアーキテクチャ設計原則は、人間の直観とよく一致しており、例えばCNNで局所的特徴を、RNNで逐次的モデリングを、自己自己注意で長距離依存関係を扱うという点が挙げられる。
• 探索プロセスは効率的かつスケーラブルであり、小さなデータセットで探索を実施した後、大きなデータセットにスムーズに移行でき、一貫したパフォーマンス向上が得られた。