[論文レビュー] textless-lib: a Library for Textless Spoken Language Processing

Eugene Kharitonov, Jade Copet+9 more|arXiv (Cornell University)|Feb 15, 2022

Speech and dialogue systems被引用数 4

ひとこと要約

textless-lib は、音声から単位への変換（S2U）、単位のモデリング（U2U）、単位から音声への再構成（U2S）のためのモジュラーで再利用可能なコンponentsを提供する、PyTorchベースのライブラリです。事前学習済みモデルを用いて最小限のコードでエンドツーエンドの研究を可能にし、低リソースまたは非テキスト型の話言語を扱う自然言語処理および音声研究者にとっての障壁を著しく低下させます。

ABSTRACT

Textless spoken language processing research aims to extend the applicability of standard NLP toolset onto spoken language and languages with few or no textual resources. In this paper, we introduce textless-lib, a PyTorch-based library aimed to facilitate research in this research area. We describe the building blocks that the library provides and demonstrate its usability by discuss three different use-case examples: (i) speaker probing, (ii) speech resynthesis and compression, and (iii) speech continuation. We believe that textless-lib substantially simplifies research the textless setting and will be handful not only for speech researchers but also for the NLP community at large. The code, documentation, and pre-trained models are available at https://github.com/facebookresearch/textlesslib/ .

研究の動機と目的

• 現在、複数のスクリプトやリポジトリを必要としているテキストレスな話言語処理の実験を設定・実行する際の複雑さを軽減すること。
• テキストの翻訳や語彙リストなしに、生の音声から直接話言語をモデリングできるようにすることで、低リソース言語や非書記語言語の研究を支援すること。
• 自然言語処理の能力をテキストを超えて、抑揚、イントネーション、非言語的発話、話者IDといった音声表現のモデリングにより拡張すること。
• エンドツーエンドのテキストレス処理パイプラインを実現するため、S2Uエンコーダー、U2U言語モデル、U2Sデコーダーを統合した一元的で使いやすいライブラリを提供すること。
• プローブ、圧縮、生成の分野における研究を加速するために、事前学習済みモデルと即座に利用可能な例題タスクを提供すること。

提案手法

• ライブラリは、HuBERT や CPC などのモデルを用いて生の音声を離散的単位に変換するためのモジュラーな PyTorch コンponentsを提供する。
• 学習済み表現に対する k-means クラスタリングを用いた単位の量子化により、テキストの教師なしで離散的トークン化が可能になる。
• 変換器ベースの事前学習済み U2U 言語モデル（例：Transformer）を含み、離散的単位の系列モデリングを可能にし、音声継続や感情転送などのタスクをサポートする。
• Tacotron2 や WaveGlow などの U2S デコーダーを統合し、離散的単位から音声を再構成することで、完全なテキストレス音声生成と再合成を可能にする。
• U2U モデルをバイパスすることで、直接音声の再合成が可能となり、単位列とエントロピー符号化を用いた損失圧縮とビットレート分析が可能になる。
• LibriSpeech および LibriLight データセットで事前学習済みのモデルを用いたプローブ、圧縮、継続のための統一APIと例題スクリプトを提供する。

実験結果

リサーチクエスチョン

• RQ1 統一されたライブラリは、テキストレスな話言語処理実験におけるエンジニアリングの負荷を著しく軽減できるか？
• RQ2 自己教師あり音声表現（例：HuBERT、CPC）はどの程度話者固有の情報を含んでおり、量子化はその情報にどのように影響するか？
• RQ3 HuBERT から得られる離散的単位を用いた場合、どの程度の圧縮レートと音声品質のトレードオフが達成可能か？また、語彙サイズに応じてどのようにスケーリングされるか？
• RQ4 テキストレス言語モデルは、1つの音声プロンプトから自然な音声継続をどの程度うまく生成できるか？
• RQ5 このライブラリは、テキストの教師なしで高品質な音声感情変換およびボイス変換を可能にするか？

主な発見

• HuBERT や CPC の連続的表現には、2層の Transformer を用いることで話者識別が可能な十分な話者固有情報が含まれており、量子化された表現では話者不変性が向上している。
• 離散化された HuBERT 単位は、LibriLight で WER 12.3% を達成しながら、最大 1.5 ビット/秒の圧縮レートを達成しており、極端な音声圧縮の強力な可能性を示している。
• wav2vec 2.0 をベースとする S2U モデルと KenLM 言語モデルを用いた G2S パイプラインを用いた音声継続では、異なる乱数シードからも一貫性があり多様な継続が得られ、表 4 に示す通りである。
• 100 単位の HuBERT を用いた 1.5 bps のビットレートで直接音声再合成が可能であり、圧縮と再構成品質のバランスが取れている。
• 話者プローブ、圧縮、継続タスクの実装には数行のコードで十分であり、ライブラリの使いやすさと低障壁性が実証された。
• textless-lib に含まれる事前学習済みモデルと例題パイプラインは GitHub で公開されており、テキストレス音声研究における迅速なプロトタイピングと再現性を可能にしている。