[論文レビュー] u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality

Wei-Ning Hsu, Bowen Shi|arXiv (Cornell University)|Jul 14, 2022

Speech and Audio Processing被引用数 16

ひとこと要約

u-HuBERT は、モダリティドロップアウトを用いた共有マスククラスタ予測目的を活用して、単モダリティおよびマルチモダリティ音声データを統合的に活用する統合的自己教師付き事前学習フレームワークを提案する。これにより、1つの微調整済みモデルが音声、視覚、音声・視覚の音声タスクにおいて最先端の性能を達成でき、LRS3で1.2%/1.4%/27.2% WERを達成するラベルなしモダリティへのゼロショット転送も可能となる。

ABSTRACT

While audio-visual speech models can yield superior performance and robustness compared to audio-only models, their development and adoption are hindered by the lack of labeled and unlabeled audio-visual data and the cost to deploy one model per modality. In this paper, we present u-HuBERT, a self-supervised pre-training framework that can leverage both multimodal and unimodal speech with a unified masked cluster prediction objective. By utilizing modality dropout during pre-training, we demonstrate that a single fine-tuned model can achieve performance on par or better than the state-of-the-art modality-specific models. Moreover, our model fine-tuned only on audio can perform well with audio-visual and visual speech input, achieving zero-shot modality generalization for multiple speech processing tasks. In particular, our single model yields 1.2%/1.4%/27.2% speech recognition word error rate on LRS3 with audio-visual/audio/visual input. Codes and models are available at https://github.com/facebookresearch/av_hubert

研究の動機と目的

• 異なるモダリティの音声モデルにおけるデータ不足と導入コストの問題を解決するため、複数の音声モダリティ向けに統合的事前学習フレームワークを開発すること。
• 事前学習段階でモダリティに依存しない表現を学習することで、ラベルなしモダリティへのゼロショット転送を可能とすること。
• 単モダリティおよびマルチモダリティ音声データを併用して事前学習することで、リソースが限られるモダリティの性能を向上させること。
• 1つのモダリティで微調整されたモデルが再訓練なしに他のモダリティにも効果的に一般化できることを示すこと。
• 混合モダリティ事前学習におけるモダリティドロップアウトの有効性を検証し、耐障害性の高いクロスマダリティ表現を学習できることを実証すること。

提案手法

• 異なる音声モダリティ（音声、視覚、音声・視覚）の特徴を共通のモダリティに依存しない特徴空間にマップする統合的マスククラスタ予測目的を提案する。
• すべてのモダリティで共通のコードブックを用いて擬似ラベルを生成し、単モダリティおよびマルチモダリティデータを統合的に事前学習可能にする。
• 事前学習中にモダリティドロップアウトを適用し、欠損モダリティをシミュレートすることで、モデルが入力モダリティ構成に依存しない表現を学習するように強制する。
• LRS3の音声・視覚データと、VC2-Enのラベルなし音声のみデータを組み合わせて事前学習し、単モダリティ音声データの豊富さを活用する。
• 微調整段階で、任意のモダリティ組み合わせのラベル付きデータを用いて統合モデルを微調整し、未観測モダリティにおけるゼロショット推論を可能にする。
• クラスタベースの予測を用いた対照的学習目的を採用することで、モダリティ間での表現品質と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単一の自己教師付きモデルが、単モダリティおよびマルチモダリティ音声データを混合して事前学習することで、モダリティ特化モデルと同等の性能を達成できるか？
• RQ2 モダリティドロップアウトは、ゼロショット転送に向けたモダリティに依存しない表現を学習するためにどの程度有効か？
• RQ3 音声のみなどの追加のラベルなし単モダリティデータを事前学習に用いることで、視覚音声などリソースが限られるモダリティの性能が向上するか？
• RQ4 音声のみで微調整されたモデルが再訓練なしに音声・視覚および視覚音声入力に対しても効果的に一般化できるか？
• RQ5 データ分布および学習期間の違いが、モダリティ特化事前学習と比較して混合モダリティ事前学習の性能に与える影響は何か？

主な発見

• u-HuBERT は LRS3 における音声・視覚音声認識で 1.2% WER を達成し、最先端のモダリティ特化モデルと同等またはそれを上回る性能を示した。
• 音声のみ入力では 1.4% WER、視覚のみ入力では 27.2% WER を達成し、強力なゼロショット転送性能を示した。
• 音声・視覚および音声のみデータの両方を用いた事前学習（600K ステップ）は、音声・視覚データのみで事前学習したベースラインと比較して、3つのモダリティすべてで優れた性能を示した。
• モダリティドロップアウトは、モダリティに依存しない特徴を学習するために不可欠であり、これを導入しないモデルは未観測のモダリティ組み合わせへの一般化に失敗した。
• 長期間の学習が継続的に性能向上をもたらす一方、モダリティ特化事前学習ではデータ制限のため、早期に性能が飽和した。
• 統合フレームワークにより、1つの微調整済みモデルがすべてのモダリティ組み合わせで良好な性能を発揮でき、ラベルなしモダリティにおけるゼロショット推論も可能となった。