[論文レビュー] Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces

Yu-An Chung, Wei‐Hung Weng+2 more|arXiv (Cornell University)|May 18, 2018

Speech Recognition and Synthesis参考文献 18被引用数 48

ひとこと要約

本論文は、音声とテキストの埋め込み空間を非教師ありで整合させるフレームワークを提示し、クロ-modal監視なしで話し言葉の分類と翻訳を可能にする。性能は教師あり手法に近い。

ABSTRACT

Recent research has shown that word embedding spaces learned from text corpora of different languages can be aligned without any parallel data supervision. Inspired by the success in unsupervised cross-lingual word embeddings, in this paper we target learning a cross-modal alignment between the embedding spaces of speech and text learned from corpora of their respective modalities in an unsupervised fashion. The proposed framework learns the individual speech and text embedding spaces, and attempts to align the two spaces via adversarial training, followed by a refinement procedure. We show how our framework could be used to perform spoken word classification and translation, and the results on these two tasks demonstrate that the performance of our unsupervised alignment approach is comparable to its supervised counterpart. Our framework is especially useful for developing automatic speech recognition (ASR) and speech-to-text translation systems for low- or zero-resource languages, which have little parallel audio-text data for training modern supervised ASR and speech-to-text translation models, but account for the majority of the languages spoken across the world.

研究の動機と目的

• 音声とテキストから直接意味表現を学習することを、クロモーダル監視なしで動機づける。
• 二つのモダリティ固有の埋め込み空間が、 adversarial training と refinements によって整合可能であることを示す。
• 学習したクロモーダル整合を用いて、話し言葉の分類と翻訳をデモンストレーションする。
• 非監視の整合が、複数のコーパスに across 監視手法とどう異なるかを評価する。

提案手法

• Speech2Vec と Word2Vec をそれぞれ用いて、別個の音声埋め込み空間とテキスト埋め込み空間を学習する。
• 空間間の初期線形写像 W を学ぶために、ドメイン対向学習を適用する。
• Mutual nearest neighbors と Cross-DDomain Similarity Local Scaling を用いて合成バイリンガル辞書を構築し、写像を refine する。
• クロモーダルデータなしで、再構成風の目的関数を最適化して W を整合させる。
• closest-text matches を用いた話し言葉の分類と翻訳タスクを通じて整合を評価する。

実験結果

リサーチクエスチョン

• RQ1 adversarial training を用いて、クロモーダル監視なしで音声とテキスト埋め込み空間を整合できるか。
• RQ2 synthetic dictionary を用いた refinements step は、初期の adversarial マッピングよりクロモーダル整合を改善するか。
• RQ3 非監視のクロモーダル整合は、英語・フランス語・ドイツ語データセットおよび言語間設定で、教師付きベースラインと比較して話し言葉の分類と翻訳においてどう性能か。

主な発見

• 非監視整合アプローチは、並列辞書を用いた教師ありと比較して競争力のある結果を示す（A 対 A*）。
• Speech2Vec の非監督セグメンテーションとクラスタリングは、単語完全一致セグメンテーションより段階的に性能が低下し、セグメンテーション品質が重要であることを示す。
• 監督が減少すると整合性能は低下するが、英語・フランス語・ドイツ語のデータセットおよび言語横断設定でも実用範囲を保つ。
• 語彙の同義語を取得する能力は、正確な単語同定を超えた意味関係を捉えており、堅牢な意味整合を示唆する。
• 同コーパスの埋め込みは、跨コーパスの埋め込みよりも整合が良好である。構造的類似性が写像を補助する。