[論文レビュー] Transformer based unsupervised pre-training for acoustic representation learning

Ruixiong Zhang, Haiwei Wu+4 more|arXiv (Cornell University)|Jul 29, 2020

Music and Audio Processing参考文献 24被引用数 7

ひとこと要約

本論文では、15%の音声特徴チャンクをマスクし、左および右の文脈を用いて再構築することで、一般で堅牢な音響表現を学ぶ、Transformerベースの教師なし事前学習手法を提案する。Librispeech、MuST-C、ESC-USといった多様なデータセットでの事前学習により、スピークトリアムエモーション認識、サウンドイベント検出、スピークトランスレーションの性能が顕著に向上し、それぞれUARで4.3%、F1で1.5–2.1%、BLEUで相対的に12.2%および8.4%の向上を達成した。

ABSTRACT

Recently, a variety of acoustic tasks and related applications arised. For many acoustic tasks, the labeled data size may be limited. To handle this problem, we propose an unsupervised pre-training method using Transformer based encoder to learn a general and robust high-level representation for all acoustic tasks. Experiments have been conducted on three kinds of acoustic tasks: speech emotion recognition, sound event detection and speech translation. All the experiments have shown that pre-training using its own training data can significantly improve the performance. With a larger pre-training data combining MuST-C, Librispeech and ESC-US datasets, for speech emotion recognition, the UAR can further improve absolutely 4.3% on IEMOCAP dataset. For sound event detection, the F1 score can further improve absolutely 1.5% on DCASE2018 task5 development set and 2.1% on evaluation set. For speech translation, the BLEU score can further improve relatively 12.2% on En-De dataset and 8.4% on En-Fr dataset.

研究の動機と目的

• 音声タスクにおけるラベル付きデータの限界を克服するため、教師なし事前学習により一般で堅牢な表現を学ぶこと。
• 多様な音声データから学習した1つの統一された表現が、複数の音声タスクにおける性能向上に寄与するかどうかを検証すること。
• 字幕付きデータに依存しない、シンプルで効果的な事前学習スキームを構築し、産業応用の広がりを図ること。
• 自己教師あり事前学習により、マスクされた再構築を実行するTransformerエンコーダーが、下流タスクで教師ありベースラインを上回るか同等の性能を発揮することを示すこと。

提案手法

• 15%の音声特徴チャンク（各チャンクにNフレーム含まれる）がゼロでマスクされる、マスクされた自己符号化目的を用いたTransformerベースのエンコーダーを事前学習する。
• モデルは、マスクされたチャンクを、未マスクの左および右の文脈特徴のみを用いて再構築し、フレームレベルの予測に対してL1損失を用いて学習する。
• エンコーダー内のCNNモジュールによるダウンサンプリング効果を考慮し、個々のフレームではなく、Nフレームのチャンク全体をマスクするメカニズムを採用する。
• 事前学習後、タスク固有のデコーダーを追加し、スピークトリアムエモーション認識、サウンドイベント検出、スピークトランスレーションなどの下流タスクに対して、エンドツーエンドで微調整する。
• 事前学習データには、Librispeech、MuST-C、ESC-USのデータセットを組み合わせ、音声および非音声音声の両方における表現一般化を向上させる。
• 標準的なTransformerアーキテクチャ（マルチヘッド自己注意およびフィードフォワード層を含む）を用い、Adam最適化法および学習率スケジューリングで学習する。

Fig. 1 : training structure and procedure: (a) The structure of Transformer based encoder. (b) Pre-training: it is trained to predict the masked acoustic feature using L1 loss. (c) Fine-tuning: the pre-trained transformer encoder is fine-tuned with an additional decoder layer to adapt to the specifi

実験結果

リサーチクエスチョン

• RQ1 教師なし事前学習により学習された1つの統一された音響表現が、多様な音声タスクにおける性能向上に寄与するか？
• RQ2 音声および環境音のデータセットを組み合わせて事前学習することで、スピークトリアムエモーション認識、サウンドイベント検出、スピークトランスレーションの下流性能にどのような影響を与えるか？
• RQ3 マスクされた再構築を用いた教師なし事前学習が、エンドツーエンドスピークトランスレーションにおいて、教師あり事前学習手法を上回るか同等の性能を発揮する程度はどの程度か？
• RQ4 本手法は、CPC や APC といった既存の自己教師ありアプローチよりも、非音声音声タスクにおいてより一般化性に優れているか？

主な発見

• IEMOCAPデータセットでは、OpenAudioデータを用いた事前学習により、ベースのTransformerに比べて未加重正答率（UAR）が4.3ポイント向上した。
• DCASE2018 Task5におけるサウンドイベント検出では、開発セットでF1スコアが1.5%、評価セットで2.1%向上した。
• MuST-C En-Deにおけるスピークトランスレーションでは、ベースのTransformerに比べてBLEUスコアが相対的に12.2%向上し、En-Frでも8.4%向上した。
• ラベル付きトランスクリプトが一切存在しない状況でも、ASR事前学習を用いた最先端のシステムと同等またはそれ以上の性能を達成した。
• 手作業で特徴を設計した手法やデータオーグメンテーションを用いた手法を含む、多数の強力なベースラインを上回った。
• 結果から、Transformerエンコーダー内でマスクされた再構築を用いた自己教師あり事前学習が、多様な音声タスクに一般化可能で堅牢な表現を生成できることを示した。