[論文レビュー] A small Griko-Italian speech translation corpus

Marcely Zanon Boito, Antonios Anastasopoulos+3 more|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Jul 27, 2018

Natural Language Processing Techniques参考文献 50被引用数 5

ひとこと要約

本論文は、330発話を含み、音声、発話の転写、イタリア語訳、語レベルのアライメント、機能的・構文的タグ、語の解説、および自動的に導出された疑似音素を備えた、公開可能な小型のグリコ語-イタリア語音声翻訳コーパスを提示する。音声から翻訳へのアライメントおよび無教師語発見のためのベースライン性能を、単語言語および二語言語の手法を用いて示し、グラフム単位の分割で75.10%の再現率を達成し、極めてリソースが乏しい状況における語発見の課題を浮き彫りにしている。

ABSTRACT

This paper presents an extension to a very low-resource parallel corpus collected in an endangered language, Griko, making it useful for computational research. The corpus consists of 330 utterances (about 20 minutes of speech) which have been transcribed and translated in Italian, with annotations for word-level speech-to-transcription and speech-to-translation alignments. The corpus also includes morphosyntactic tags and word-level glosses. Applying an automatic unit discovery method, pseudo-phones were also generated. We detail how the corpus was collected, cleaned and processed, and we illustrate its use on zero-resource tasks by presenting some baseline results for the task of speech-to-translation alignment and unsupervised word discovery. The dataset is available online, aiming to encourage replicability and diversity in computational language documentation experiments.

研究の動機と目的

• 絶滅危惧言語であるグリコ語の計算言語記録を支援するため、公開可能で多段階のアノテーションが施されたコーパスの構築。
• 極めてリソースが乏しい状況においても再現可能な低リソース音声およびNLP技術の評価を可能にする。
• 真正に絶滅危惧言語において、音声から翻訳へのアライメントおよび無教師語発見のためのベースライン結果の提供。
• 共有データと標準化された評価指標を通じて、コミュニティ主導の手法改善を促進する。
• クロスリンガウス的監視（イタリア語訳）を用いることで、低リソース環境における語発見の性能向上が可能であることを示す。

提案手法

• 330発話のグリコ語音声とそれに対応するイタリア語訳を収集し、語レベルで転写およびアライメントを実施。
• 言語学的分析を支援するため、コーパスに機能的・構文的タグと語レベルの解説をアノテート。
• 生の音声信号から疑似音素を自動単位発見手法を用いて生成。
• ニューラル機械翻訳（NMT）モデルを用い、ソフトアテンション行列による音声から翻訳へのアライメントを実行し、その後の後処理でハードな分割境界を抽出。
• 近接領域の平均化と温度スケーリング（T=1）を用いたアライメントスムージングにより、アテンションベースの分割の安定性を向上。
• グラフムおよび疑似音素表現の両方において、ゼロリソースチャレンジ2017の境界評価指標（Fスコア、精度、再現率）を用いて語発見を評価。

実験結果

リサーチクエスチョン

• RQ1 多言語アノテーションを備えた小型で低リソースの音声翻訳コーパスは、絶滅危惧言語における効果的な無教師語発見を可能にするか？
• RQ2 イタリア語訳からのクロスリンガウス的監視は、単語言語アプローチと比較して、語分割性能をどのように向上させるか？
• RQ3 極めてリソースが乏しい状況において、グラフムではなく疑似音素を使用した場合、語発見性能にどのような影響を与えるか？
• RQ4 このコーパスにおいて、単語言語（dpseg）、比例法、ニューラル手法といった異なるベースライン手法の分割精度は、どのように比較されるか？
• RQ5 アライメントスムージングとモデル平均化は、低リソース状況におけるニューラル語分割のロバスト性と性能をどの程度向上させるか？

主な発見

• 単語言語のdpsegモデルは、グラフム単位の語分割で75.10%の再現率を達成し、極めてリソースが乏しい状況下でも優れた性能を示した。
• 統合されたニューラル分割ベースラインは、他の二語言語手法を上回り、グラフム単位の分割で神経的アプローチの中で最高のFスコアを記録した。
• すべての手法が疑似音素表現において顕著な性能低下を示し、Fスコアが低く保たれたことから、単位発見からのノイズ伝搬の課題が浮き彫りになった。
• dpsegモデルは疑似音素において過剰分割を示し、他の手法と比較して文あたりのトークン数が多かった。
• ニューラル分割手法は疑似音素においてdpsegよりも少ないセグメント数を生成しており、ノイズの多い表現において過小分割の傾向があることが示唆された。
• 結果は、とくに自動的に導出された疑似音素を用いる場合、非常にリソースが乏しい状況における無教師語発見の困難さを強調している。