[論文レビュー] Unsupervised Word Segmentation from Speech with Attention

Pierre Godard, Marcely Zanon-Boito+5 more|arXiv (Cornell University)|Jun 18, 2018

Speech Recognition and Synthesis参考文献 37被引用数 14

ひとこと要約

本稿では、低資源・未書記言語における生音声からの非教師あり語区切りを、二語対訳の音声翻訳アライメントを用いて、注目メカニズムを備えたニューラル機械翻訳アプローチで提案する。まず、音声を仮の音素に変換するための音声ユニット発見（AUD）を適用し、次にエンコーダ・デコーダモデル内の注目メカニズムを活用してこれらを翻訳文とアライメントさせる。この手法により、Mboshiコーパスにおいて語区切りのF値が50.0%に達し、単語対訳ベースのベースラインを著しく上回り、このデータセットにおける最高の結果を達成した。

ABSTRACT

We present a first attempt to perform attentional word segmentation directly from the speech signal, with the final goal to automatically identify lexical units in a low-resource, unwritten language (UL). Our methodology assumes a pairing between recordings in the UL with translations in a well-resourced language. It uses Acoustic Unit Discovery (AUD) to convert speech into a sequence of pseudo-phones that is segmented using neural soft-alignments produced by a neural machine translation model. Evaluation uses an actual Bantu UL, Mboshi; comparisons to monolingual and bilingual baselines illustrate the potential of attentional word segmentation for language documentation.

研究の動機と目的

• テキストや音声的リソースが一切存在しない低資源・未書記言語（ULs）における非教師あり語区切りを解決すること。
• 二語対訳文レベルの翻訳が、生音声からの語区切りを改善する弱い教師信号として機能するかを調査すること。
• 音声ユニット発見（AUD）と注目メカニズムを備えたニューラル機械翻訳を組み合わせた二段階パイプラインを構築すること。
• Mboshi言語コーパスを用いた現実世界の言語記録のシナリオにおいて、この手法の性能を評価すること。

提案手法

• まず、ベイズモデル（HMM、SVAE、MBN）を用いて音声ユニット発見（AUD）を実行し、生音声を時間ラベル付きの仮の音素列に変換する。
• ニューラル機械翻訳（NMT）のエンコーダ・デコーダモデルを用い、十分なリソースを持つ言語（WRL）の文をULの仮の音素列に翻訳する。
• NMTモデルを、正解の翻訳文を用いて学習させ、デコーダの隠れ状態と注目メカニズムを用いて、WRL語とUL仮音素の間のソフトアライメントを計算する。
• 連続する仮の音素間で注目度が著しく変化する箇所を特定することで、語区切りを抽出する。
• 注目行列を後処理し、隣接するユニット間で注目度が顕著にシフトする箇所を境界として検出する。
• 語区切り検出のF値を用いて性能を評価し、さまざまなAUD出力とベースラインを比較する。

実験結果

リサーチクエスチョン

• RQ1 教師あり音声対訳アライメントで学習したニューラル機械翻訳モデルの注目メカニズムが、未書記言語の語区切りを効果的に特定できるか。
• RQ2 音声ユニット発見（AUD）の出力品質が、その後続の語区切り性能に与える影響は何か。
• RQ3 二語対訳文レベルの翻訳を弱い教師信号として用いることで、単語対訳アプローチに比べて生音声からの語区切り性能が向上するか。
• RQ4 同じタスクにおいて、真の音素列からの語区切りと仮の音素からの語区切りの性能はどのように異なるか。
• RQ5 異なるAUDアーキテクチャ（HMM、SVAE、MBN）が最終的な語区切り精度に与える影響は何か。

主な発見

• 本手法は、MBN SVAEに基づく仮の音素列からの語区切りで、語区切りのF値が50.0%に達し、単語対訳ベースのベースラインを著しく上回った。
• 真の音素記号からの語区切りではF値が61.0%に達し、AUDがノイズを導入することで性能に悪影響を及べると示された。
• MBN SVAEによるAUDは、HMM（平均32.1語/文）に比べ、より簡潔で正確な仮の音素列（平均23.4語/文）を生成し、語区切り性能の向上に寄与した。
• 平均化された注目行列を用いることで、ベースラインに比べて約0.8%の性能向上が見られ、本手法の頑健性が示された。
• 仮の音素では語彙回収率が13.5%にとどまったが、真の音素では34.3%に達し、音声セグメントを正しい語彙的タイプにクラスタリングする課題が浮き彫りになった。
• 本手法は、音声からの非教師あり語区切りというタスクにおいて、Mboshi5kコーパスで報告された最高の性能を達成した。