[論文レビュー] An Unsupervised Probability Model for Speech-to-Translation Alignment of Low-Resource Languages

Antonios Anastasopoulos, David Chiang+1 more|arXiv (Cornell University)|Sep 26, 2016

Natural Language Processing Techniques参考文献 19被引用数 7

ひとこと要約

本稿では、低資源言語における音声フレーズと翻訳との対応付けを、教師なし確率的モデルとして、fast_align と k-means クラスタリングを動的時間 warp（DTW）を用いて統合的に学習する手法を提案する。再パrameter化されたIBM Model 2と、DBAを用いたDTWベースのクラスタリングを組み合わせることで、特に極めて低資源な状況下でも、強力なベースラインおよびニューラルアテンションモデルを上回る優れた対応付け性能を達成する。

ABSTRACT

For many low-resource languages, spoken language resources are more likely to be annotated with translations than with transcriptions. Translated speech data is potentially valuable for documenting endangered languages or for training speech translation systems. A first step towards making use of such data would be to automatically align spoken words with their translations. We present a model that combines Dyer et al.'s reparameterization of IBM Model 2 (fast-align) and k-means clustering using Dynamic Time Warping as a distance metric. The two components are trained jointly using expectation-maximization. In an extremely low-resource scenario, our model performs significantly better than both a neural model and a strong baseline.

研究の動機と目的

• 音声のトランスクリプトが入手できない低資源語または絶滅危惧語において、話された音声と翻訳との対応付けを解決する挑戦に取り組む。
• 言語記録や音声翻訳システムへの応用を目的として、音声フレーズを自動的にそれに対応する翻訳テキストにマッピングする仕組みを提供する。
• 自然言語処理システムの学習に、トランスクリプトされた音声の代わりに翻訳付き音声データを有効な代替手段として活用する手法を開発する。
• 並列トランスクリプト音声が入手不可能な極めて低資源な状況下で、既存モデルの限界を克服する。
• DTW を距離尺度として用いた fast_align と k-means クラスタリングの統合的学習により、対応付けの正確性を向上させる。期待最大化（EM）を用いて両者を同時に最適化する。

提案手法

• fast_align に適応された Dyer らの IBM Model 2 の再パラメータ化を用い、音声フレームがターゲット語にどのように対応するかの確率をモデル化する。歪みモデルは λ と p₀ でパラメータ化される。
• クラスタリングの過程で、音声特徴シーケンスと語のプロトタイプ間の類似度を測るために、動的時間 warp（DTW）を距離尺度として用いる。
• DTW バリオセントラ・アveraging（DBA）を用い、整列済み音声セグメントの平均を繰り返し計算することでクラスタ中心を改善する。初期スケルトンとして中央値長のシーケンスを用いる。
• 期待最大化（EM）を用いて fast-align とクラスタリング部を同時に学習する。対応付け確率がクラスタ更新に影響を与え合い、逆にクラスタの更新が対応付け確率に影響を与える。
• 生成的フレームワークへの統合を可能にするために、条件付き確率 p(e|φ) をモデル化し、音声からテキストへの対応付けを促進する。
• 正規化係数 Zλ を省略した劣化モデルの変種を導入し、短いまたは希少語に対して過学習の影響を軽減する。

実験結果

リサーチクエスチョン

• RQ1 トランスクリプトが一切存在しない状況下でも、教師なしモデルが音声フレーズと翻訳を効果的に対応付けられるか？
• RQ2 fast_align と DTW ベースのクラスタリングを統合することで、強力なベースラインと比較して、低資源状況下での対応付け性能がどのように向上するか？
• RQ3 正規化係数 Zλ を省略した劣化モデルの変種が、正しく正規化されたバージョンよりも性能が優れているのはなぜか？
• RQ4 語順の乖離度が異なる言語対に対して、このモデルはどの程度一般化可能か？
• RQ5 モデルが生成する対応付けスパンは、ゴールドスタンダードのスパンと比較して、長さと正確性の点でどの程度近いか？

主な発見

• Griko-Italian の低資源設定において、提案手法は F スコア 53.6 を達成し、正しく正規化されたモデル（44.0）およびニューラルアテンションモデル（38.3）を顕著に上回る。
• スペイン語-英語コーパスにおいて、Griko-Italian テストセットで F スコア 82.3 を達成し、ベースラインおよびニューラルモデルを上回る。
• モデルの平均対応付けスパン長（37±24 フレーム）は、ゴールドスタンダード（42±26 フレーム）に、正しく正規化されたモデル（30±39 フレーム）よりも近い。これは、スパン推定が優れていることを示唆する。
• 単語の頻度が極めて低い語（hapax legomena）は、高い正確性で対応付けられており、53% が F スコア 70.0 以上を達成し、その平均 F スコアは 63.2 である。
• 語長（フレーム単位）と対応付け F スコアの間に正の相関が認められ、より長い発話がより正確に対応付けられる傾向にある。
• 正しく正規化されたモデルは、スパン確率分布 s(f|a,b) の過学習により、極端に短いか長いかの対応付けスパンを生成する傾向がある。一方、劣化モデルは s(a,b|f) を用いることで、この問題を回避する。