[論文レビュー] Prabhupadavani: A Code-mixed Speech Translation Data for 25 Languages

Jivnesh Sandhan, Ayush Daksh+3 more|arXiv (Cornell University)|Jan 27, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

Prabhupadavani は、25ヶ国語で合計94時間の音声を含む多言語・コードミックス型音声翻訳データセットであり、手動でアラインメントされ翻訳済みで、主に英語、ベンガル語、サンスクリット語を含むコードスイッチングを特徴としている。これは、大規模かつマルチドメイン、多言語のコードミックス型STデータセットとしての世界的初のものであり、耐障害性のあるSTシステム、多言語学習、多様な言語タイプにわたるエンドツーエンドモデルの一般化に関する研究を可能にする。

ABSTRACT

Nowadays, the interest in code-mixing has become ubiquitous in Natural Language Processing (NLP); however, not much attention has been given to address this phenomenon for Speech Translation (ST) task. This can be solely attributed to the lack of code-mixed ST task labelled data. Thus, we introduce Prabhupadavani, which is a multilingual code-mixed ST dataset for 25 languages. It is multi-domain, covers ten language families, containing 94 hours of speech by 130+ speakers, manually aligned with corresponding text in the target language. The Prabhupadavani is about Vedic culture and heritage from Indic literature, where code-switching in the case of quotation from literature is important in the context of humanities teaching. To the best of our knowledge, Prabhupadvani is the first multi-lingual code-mixed ST dataset available in the ST literature. This data also can be used for a code-mixed machine translation task. All the dataset can be accessed at https://github.com/frozentoad9/CMST.

研究の動機と目的

• 自然言語処理および音声翻訳研究における、大規模かつ多言語的、コードミックス型の音声翻訳データセットの不足を解消すること。
• 特に多言語的かつマルチドメインの文脈において、コードミックス現象の耐障害性のあるモデリングを可能にすること。
• 多様な言語系統や文法的構造にわたる一般化を実現するエンドツーエンドおよび段階的STシステムの開発を支援すること。
• コードミックス型音声翻訳およびコードミックス型機械翻訳タスクの両方を対象とした、高品質で手動でアラインメントされたデータセットを提供すること。
• 25の言語タイプが多様な言語体系にわたる多言語的転送学習および統合モデル化に関する研究を促進すること。

提案手法

• データセットは、ヴェーダ的文化およびインド系文学に関する講義、討論、インタビュー、会話の音声録音から構築された。データソースは、バクティヴェダンタ・ブック・トラストおよびバニピディアである。
• 音声は手動で転写され、25ヶ国語のターゲット言語に翻訳され、音声とテキストの間できめ細やかなアラインメントがなされ、高品質な並列データを確保した。
• コードミックスは自然に組み込まれており、主にサンスクリット語の引用やヒンディー語またはベンガル語による説明を通じて実現され、人文学教育分野における現実の言語的行動を反映している。
• データセットは、インド・ヨーロッパ語族、ウロ・フィン語族、オーストラネシア語族、ドラヴィダ語族を含む10の語族をカバーしており、SVO、SOV、および柔軟な語順を含む多様な文法的・屈折的構造を有する。
• 全25ヶ国語にわたる標準化された訓練・検証・テスト用データ分割を実現するため、層別化されたデータ分割が作成され、データ漏洩の低減と再現性の向上が図られた。
• データセットはGitHub上で公開されており、音声、テキスト、翻訳のすべてに完全にアクセス可能であり、STおよびNLP研究における広範な利用を可能としている。

実験結果

リサーチクエスチョン

• RQ1 多言語学習は、多様な言語系統にわたるコードミックス型音声翻訳のパフォーマンスを向上させ得るか？
• RQ2 既存のエンドツーエンドおよび段階的STシステムは、コードミックス型音声に対してどのように動作するか？このデータセットにより、性能の差を埋められるか？
• RQ3 このデータセットの並列構造を活用して、25ヶ国語すべてを統一した1つのモデルで学習可能か？
• RQ4 語順、性格のマーク、屈折的複雑性といった言語的変異が、コードミックス型STにおけるモデルの一般化にどのように影響するか？
• RQ5 このデータセットは、語彙的ミックスとしてのスイッチングだけでなく、文法的に統合された現象としてのスイッチングに対応できる耐障害性の高いシステムの開発を支援できるか？

主な発見

• Prabhupadavani は、文献上、25ヶ国語および94時間の手動アラインメント音声をカバーする最初の多言語的・コードミックス型音声翻訳データセットである。
• データセットは10の語族をカバーしており、屈折語、付加語、孤立語を含み、コードミックス効果の言語間分析が可能である。
• データセットには合計2,400時間の音声データが含まれており、現在のリリースでは94時間の高品質で並列的かつコードミックス型のSTデータが提供されている。
• 主に文学的引用や説明を通じてコードスイッチングが組み込まれており、教育的・文化的文脈における真の言語的行動を反映している。
• データセットは音声翻訳およびコードミックス型機械翻訳タスクの両方を支援しており、25ヶ国語すべてに並列翻訳が用意されている。
• 研究者らは、今後108ヶ国語以上にデータセットを拡張する計画であり、スケーラビリティおよび長期的な研究的価値を示している。