[論文レビュー] Transformers in Speech Processing: A Survey

Siddique Latif, Aun Zaidi+5 more|arXiv (Cornell University)|Mar 21, 2023

Speech Recognition and Synthesis被引用数 17

ひとこと要約

音声処理におけるトランスフォーマーモデルの包括的な調査。ASR、TTS、翻訳、強化、マルチモーダル応用、対話システムを網羅し、課題と今後の方向性を示す。

ABSTRACT

The remarkable success of transformers in the field of natural language processing has sparked the interest of the speech-processing community, leading to an exploration of their potential for modeling long-range dependencies within speech sequences. Recently, transformers have gained prominence across various speech-related domains, including automatic speech recognition, speech synthesis, speech translation, speech para-linguistics, speech enhancement, spoken dialogue systems, and numerous multimodal applications. In this paper, we present a comprehensive survey that aims to bridge research studies from diverse subfields within speech technology. By consolidating findings from across the speech technology landscape, we provide a valuable resource for researchers interested in harnessing the power of transformers to advance the field. We identify the challenges encountered by transformers in speech processing while also offering insights into potential solutions to address these issues.

研究の動機と目的

• 音声処理の全体像（ASR、合成、翻訳、強化、対話、マルチモーダルタスク）に対してトランスフォーマーがどのように適用されているかを特定する。
• 100件以上の論文の知見を統合し、トランスフォーマーベースのSPにおける現在の傾向と技術を整理する。
• 音声トランスフォーマー研究の今後の課題と可能な解決策・方向性を提案する。

提案手法

• 音声処理におけるトランスフォーマー研究をレビューし統合する。
• 研究を適用領域別に分類する（ASR、ニューラルTTS、ST、強化／拡張、マルチモーダル、対話）。
• 自己注意機構、マルチヘッド注意、位置エンコーディングなどのコアなトランスフォーマー概念と、それらがSPタスクに与える関連性を説明する。
• 代表的なモデルと事前学習戦略（wav2vec、w2v-BERT、Whisper、Conformer など）を要約する。
• 音声トランスフォーマーにおける未解決問題と今後の研究方向を論じる。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーアーキテクチャが音声処理タスクに適用される主な方法は何か。
• RQ2 音声データへトランスフォーマーを適用する際の主な課題は何で、それに対してどのような解決策が提案されているか。
• RQ3 トランスフォーマーベースのSPモデルは、性能と学習効率の点で従来のRNNベース手法とどのように比較されるか。
• RQ4 トランスフォーマー駆動の音声処理研究における主要な傾向と今後の方向性は何か。

主な発見

• トランスフォーマーは自己注意により長距離依存をモデル化する能力が従来のRNNより優れている。
• マルチヘッド注意と並列計算により大規模な音声データセットでの学習効率が向上する。
• さまざまな専門的な音声トランスフォーマーが（wav2vec、wav2vec 2.0、Whisper、Conformer、SpeechT5、VALL-E など）ASR、TTS、多言語タスクで最先端の結果を示している。
• 自己教師あり事前学習（例：wav2vec、data2vec、Whisper）はラベル付きデータ要件を削減し、クロスリンガルおよび多言語音声理解を支援する。
• トランスフォーマーはハイブリッド（Conformer）、エンドツーエンドのアーキテクチャ、マルチモーダル機能と組み合わせて、さまざまなSPタスクに対処してきた。
• 新興のトレンドにはゼロショット・クロスリンガルのTTS/ASR、大規模事前学習、複数音声タスクを統合する統一モデルが含まれる。