[論文レビュー] Deja-vu: Double Feature Presentation in Deep Transformer Networks.

Andros Tjandra, Chunxi Liu+6 more|arXiv (Cornell University)|Oct 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 4

ひとこと要約

この論文は、中間モデルヘッドと損失関数を介して複数の層で入力特徴を再利用する深層Transformerアーキテクチャを提案しており、ネットワークが進化する仮説の文脈で生の特徴を再検討できるようにする。この手法により、Librispeechでは10–20%の相対的WER改善が達成され、大規模な動画データセットでは3.2–13%の改善が得られた。これは、複数深度の特徴再利用とレイヤーごとの監視を組み合わせた結果である。

ABSTRACT

Deep acoustic models typically receive features in the first layer of the network, and process increasingly abstract representations in the subsequent layers. Here, we propose to feed the input features at multiple depths in the acoustic model. As our motivation is to allow acoustic models to re-examine their input features in light of partial hypotheses we introduce intermediate model heads and loss function. We study this architecture in the context of deep Transformer networks, and we use an attention mechanism over both the previous layer activations and the input features. To train this model's intermediate output hypothesis, we apply the objective function at each layer right before feature re-use. We find that the use of such intermediate losses significantly improves performance by itself, as well as enabling input feature re-use. We present results on both Librispeech, and a large scale video dataset, with relative improvements of 10 - 20% for Librispeech and 3.2 - 13% for videos.

研究の動機と目的

• 深層Transformer音声認識モデルの性能向上を図り、ネットワークの複数の深さで入力特徴を再検討できるようにすること。
• 標準のTransformerでは初期の特徴が再訪問されないという制限を解消すること。
• 中間監視と特徴再利用が表現学習とモデル性能を向上させるかどうかを調査すること。
• 提案されたアーキテクチャの有効性を、Librispeechや大規模な動画データセットを含む多様なASRベンチマークで評価すること。

提案手法

• 複数の層に中間モデルヘッドを導入し、それらが直前の層の活性化状態と元の入力特徴の両方を基に仮説を生成する。
• 特徴再利用の直前に、各中間層で損失関数を適用し、モデルの進化する予測を監視する。
• 前の層の活性化状態と入力特徴の両方に注目するアテンションメカニズムを用い、文脈に即した再検討を可能にする。
• 中間出力に勾配が流れるように、エンドツーエンドで訓練し、複数深度の監視を可能にする。
• 本体のフォワードパスを変更せずに特徴再利用を可能にするアーキテクチャを設計し、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 複数深度で入力特徴を再利用することで、深層Transformer ASRモデルの性能向上が図れるか？
• RQ2 レイヤーごとの損失による中間監視を導入することで、モデルの精度と一般化性能が向上するか？
• RQ3 直前の活性化状態と入力特徴の両方に注目するアテンションが、表現品質にどのように影響するか？
• RQ4 このアーキテクチャは、ノイズが多いまたは複雑な音声を含む多様なASRデータセットにどのような影響を及ぼすか？

主な発見

• 提案されたアーキテクチャは、標準のTransformerと比較してLibrispeechベンチマークで10–20%の相対的WER改善を達成した。
• 大規模な動画データセットでは、3.2–13%の相対的WER低減が見られ、異なるドメインへの強い一般化能力を示した。
• 中間損失単体でも顕著な性能向上が得られたことから、複数深度の監視が学習ダイナミクスを向上させることを示している。
• 入力特徴と隠れ状態の両方に注目するアテンションによる特徴再利用により、モデルは文脈に即した生の入力特徴を用いて仮説を精緻化できるようになった。