[論文レビュー] Improved Conformer-based End-to-End Speech Recognition Using Neural Architecture Search

Yukun Liu, Li Ta+2 more|arXiv (Cornell University)|Apr 12, 2021

Speech Recognition and Synthesis参考文献 31被引用数 8

ひとこと要約

本論文は、データ固有の最適化を図るため、差分可能なニューラルアーキテクチャサーチ（DARTS）フレームワークを提案し、Conformerベースの端末から端末までの音声認識モデルを自動で発見する。多ヘッド自己注意、畳み込み、フィードフォワードモジュールの柔軟な探索空間をConformerバックボーンに拡張し、動的探索スケジュール（DSS）正則化を適用することで、AISHELL-1で人間が設計したベースライン比11%の相対的CER改善を達成した一方で、探索コストは低く抑えられた。

ABSTRACT

Recently neural architecture search(NAS) has been successfully used in image classification, natural language processing, and automatic speech recognition(ASR) tasks for finding the state-of-the-art(SOTA) architectures than those human-designed architectures. NAS can derive a SOTA and data-specific architecture over validation data from a pre-defined search space with a search algorithm. Inspired by the success of NAS in ASR tasks, we propose a NAS-based ASR framework containing one search space and one differentiable search algorithm called Differentiable Architecture Search(DARTS). Our search space follows the convolution-augmented transformer(Conformer) backbone, which is a more expressive ASR architecture than those used in existing NAS-based ASR frameworks. To improve the performance of our method, a regulation method called Dynamic Search Schedule(DSS) is employed. On a widely used Mandarin benchmark AISHELL-1, our best-searched architecture outperforms the baseline Conform model significantly with about 11% CER relative improvement, and our method is proved to be pretty efficient by the search cost comparisons.

研究の動機と目的

• 固定された人間が設計したConformerブロックの限界、特に特定のデータセットに最適でない可能性を是正すること。
• ニューラルアーキテクチャサーチ（NAS）が、標準的なConformer設定を超えて、より優れたデータ固有のアーキテクチャを発見できるかどうかを検証すること。
• 従来のNAS手法がASR分野で高い計算コストを要する問題を、差分可能なアーキテクチャサーチ（DARTS）を活用することで軽減すること。
• 新たな正則化戦略、動的探索スケジュール（DSS）を導入することで、一般化性能と収束性を向上させ、探索性能を向上させること。
• 大規模な中国語ASRベンチマーク（AISHELL-1）において、提案されたNASフレームワークの効率性と有効性を検証すること。

提案手法

• 多ヘッド自己注意（MHSA）、畳み込み（Conv）、フィードフォワードネットワーク（FFN）モジュールの複数のオペレーションから独立して選択可能な、Conformerアーキテクチャに基づく探索空間を設計する。
• 探索アルゴリズムとして差分可能なアーキテクチャサーチ（DARTS）を採用し、探索空間の連続的リラクゼーションを介してアーキテクチャパラメータを勾配ベースで最適化可能にする。
• 動的探索スケジュール（DSS）を導入し、訓練中にアーキテクチャ学習率を動的に調整することで、安定性と性能を向上させる正則化技術を実装する。
• モデル重みとアーキテクチャパラメータを同時に最適化する1つのスーパーネットを訓練し、1回のフルトレーニングで効率的なアーキテクチャサーチを実現する。
• すべての実験でNvidia Titan RTXを1台使用し、暖 warmed-up ステップ（25,000）、初期基準学習率（1.0）、ラベルスムージング（0.1）、ドロップアウト（0.1）などのハイパーパrameterを設定し、DSS用にβ = 2.0を設定する。
• 公平な比較のため、最終アーキテクチャはAISHELL-1データセットから再トレーニングして評価する。

実験結果

リサーチクエスチョン

• RQ1 AISHELL-1ベンチマークにおいて、ニューラルアーキテクチャサーチは、標準的な人間が設計したアーキテクチャよりも効果的で、データ固有の最適化が図られたConformerベースのアーキテクチャを発見できるか？
• RQ2 従来の強化学習や進化的アルゴリズムを用いたNAS手法と比較して、DARTSはASR分野で顕著に探索コストを削減できるか？
• RQ3 動的探索スケジュール（DSS）正則化は、探索されたアーキテクチャの性能と安定性を向上させるのにどの程度有効か？
• RQ4 提案されたNASフレームワークは、ベースラインのConformerと同等のモデルサイズを維持しながら、より優れたASR性能を達成できるか？
• RQ5 探索プロセスから得られたアーキテクチャパターンは、音声モデルにおける表現学習の既知の原則と整合しているか？

主な発見

• DARTSにDSSを適用した最良のアーキテクチャは、AISHELL-1のテストセットでベースラインのConformer比11%の相対的CER改善を達成し、CERを8.3%から7.5%に低下させた。
• DARTSにDSSを適用した手法は、ベースラインのConformerおよびDARTSにDSSを適用しない手法を上回り、開発セットで6.7%、テストセットで7.5%のCERを達成した。
• DARTSにDSSを適用した探索コストは23.2時間であり、ランダムサーチに要する322時間に比べて顕著に低く、ベースラインモデルの再トレーニング時間（21.6時間）とも同等水準であった。
• DARTSベースの手法は、探索空間の複雑さを考慮しても、ランダムサーチ比90%以上のコスト削減を達成し、高い効率性を示した。
• 探索されたアーキテクチャは、ブロックごとに多様なオペレーションの組み合わせを採用しており、深層部ではMHSAヘッド数が16から4に減少し、後続の畳み込みでは大きなカーネルサイズが使用された。これは階層的特徴学習を示唆している。
• FFNモジュールは一貫して最大の隠れ層次元（1024）を選択しており、性能に大きな影響を与える要因として、隠れ層次元が優位であることが示された。