[論文レビュー] Darts-Conformer: Towards Efficient Gradient-Based Neural Architecture Search For End-to-End ASR

Xian Shi, Pan Zhou+2 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Neural Network Applications参考文献 32被引用数 6

ひとこと要約

本稿では、DARTSのミューテータとConformerブロックを統合することで、効率的で高性能なエンドツーエンドASRモデルを自動で発見する、微分可能ニューラルアーキテクチャサーチ手法Darts-Conformerを提案する。この手法は、AISHELL-1でベースラインのConformerに対して相対的に4.7%のCER改善を達成した一方で、探索時間はたった0.7 GPU日で、エンドツーエンド音声認識における効率的で勾配ベースのアーキテクチャサーチの有効性を示している。

ABSTRACT

Neural architecture search (NAS) has been successfully applied to tasks like image classification and language modeling for finding efficient high-performance network architectures. In ASR field especially end-to-end ASR, the related research is still in its infancy. In this work, we focus on applying NAS on the most popular manually designed model: Conformer, and then propose an efficient ASR model searching method that benefits from the natural advantage of differentiable architecture search (Darts) in reducing computational overheads. We fuse Darts mutator and Conformer blocks to form a complete search space, within which a modified architecture called Darts-Conformer cell is found automatically. The entire searching process on AISHELL-1 dataset costs only 0.7 GPU days. Replacing the Conformer encoder by stacking searched cell, we get an end-to-end ASR model (named as Darts-Conformner) that outperforms the Conformer baseline by 4.7\% on the open-source AISHELL-1 dataset. Besides, we verify the transferability of the architecture searched on a small dataset to a larger 2k-hour dataset. To the best of our knowledge, this is the first successful attempt to apply gradient-based architecture search in the attention-based encoder-decoder ASR model.

研究の動機と目的

• 微分可能アーキテクチャサーチ（DARTS）をConformerアーキテクチャに適用することで、効率的なエンドツーエンドASRモデルの自動設計を実現すること。
• 自動音声認識におけるニューラルアーキテクチャサーチで一般的に見られる高い計算コストを低減すること。
• 小規模なデータセットから探索されたアーキテクチャが、より大きなASRデータセットへと転送可能かどうかを検討すること。
• 手動でのアーキテクチャ設計を減らしつつ、性能を維持または向上させること。

提案手法

• Conformerブロック内の4つのモジュール（2つのフィードフォワードネットワーク、1つの畳み込みモジュール、1つのマルチヘッドアテンションモジュール）を、微分可能なDAGのノードとして扱い、探索空間を構築する。
• 元のDARTSミューテータを変更し、ノード間の接続と候補演算を同時に探索することで、アーキテクチャパラメータの連続的リラクゼーションを可能にする。
• バイレベル最適化を用いて、勾配降下法によりアーキテクチャパラメータとネットワーク重みを同時に最適化し、効率的にアーキテクチャ空間を探索する。
• 最終的なDarts-Conformerセルは、探索されたアーキテクチャを6回スタックして6層のエンコーダーを構築し、デコーダーはベースラインと同一に保つ。
• すべての候補演算と接続を同時に学習するスープネットを用いることで、個々のアーキテクチャを再び訓練する必要なく、効率的なアーキテクチャサーチを実現する。
• 探索はAISHELL-1データセット上で実施され、得られたアーキテクチャはAISHELL-1およびより大きなSogou-2kデータセットでも評価され、転送性の検証がなされた。

実験結果

リサーチクエスチョン

• RQ1 微分可能アーキテクチャサーチ（DARTS）は、特にConformerアーキテクチャを含むエンドツーエンド音声認識モデルに効果的に適用可能か？
• RQ2 提案手法Darts-Conformerの探索コストはどの程度で、手動設計されたモデルよりも性能向上を達成できるか？
• RQ3 AISHELL-1のような小規模データセットで探索されたアーキテクチャは、Sogou-2kのようなより大きな、複雑なデータセットへも一般化できるか？
• RQ4 各探索されたコンponent（例：アテンションヘッド数、カーネルサイズ、スキップ接続）が最終的なモデル性能に与える寄与度はどの程度か？

主な発見

• Darts-Conformerは、ベースラインのConformerと比較して、AISHELL-1のテストセットで4.7%の相対的CER低減を達成し、CERは6.1%（ベースライン6.4%）となった。
• 探索プロセスに要した計算コストはたった0.7 GPU日であり、従来のNAS手法が数千GPU日を要するのと比べて、著しく計算コストを削減した。
• アブレーションスタディの結果、入力候補や選択された演算（例：4ヘッドアテンション、小規模カーネルサイズ）を削除すると性能が低下し、探索されたコンponentsの重要性が裏付けられた。
• 探索されたアーキテクチャは良好な一般化性能を示した：Sogou-2kデータセットでは、クリーンおよびノイズありテストセットでベースラインを上回った（10.6% vs. 10.9% および 7.2% vs. 7.5%）、フォールドフィールドでは同等の性能を示した。
• パラメータ数2681万のモデルは、パラメータ数2767万のベースラインモデル（より高いアテンション次元）を上回る性能を示し、より優れたパラメータ効率性を示した。
• 勾配ベースのNASが、手動でのアーキテクチャ設計なしに、改善されたASRアーキテクチャを効果的に発見できることを実証した。