[論文レビュー] JSUT corpus: free large-scale Japanese speech corpus for end-to-end speech synthesis

Ryosuke Sonobe, Shinnosuke Takamichi+1 more|arXiv (Cornell University)|Oct 28, 2017

Speech Recognition and Synthesis参考文献 6被引用数 88

ひとこと要約

本論文は JSUT コーパスを紹介します。エンドツーエンド音声合成のために日常使用漢字の発音をすべて網羅することを目的とした、9つのサブコーパスを含む、10時間の無料日本語話料データセットと公開リソース。

ABSTRACT

Thanks to improvements in machine learning techniques including deep learning, a free large-scale speech corpus that can be shared between academic institutions and commercial companies has an important role. However, such a corpus for Japanese speech synthesis does not exist. In this paper, we designed a novel Japanese speech corpus, named the "JSUT corpus," that is aimed at achieving end-to-end speech synthesis. The corpus consists of 10 hours of reading-style speech data and its transcription and covers all of the main pronunciations of daily-use Japanese characters. In this paper, we describe how we designed and analyzed the corpus. The corpus is freely available online.

研究の動機と目的

• エンドツーエンド音声合成研究のための無料で大規模な日本語話料コーパスを提供する。
• 日常使用の日本語漢字のすべての発音と個別読みを確実に網羅する。
• 外来語、言い換えの変種、旅行・前例に関する内容など、多様なドメインを含む。

提案手法

• 日常使用漢字の主要な発音と読みを網羅するために九つのサブコーパスを設計する。
• basic5000 を Wikipedia と TANAKA コーパスから 5000 文を選択し、手動で追加の文を含めて構築する。
• 接尾辞、外来語、言い換え、およびドメイン特有の内容を含む発話をクラウドソーシングまたは収集する。
• 声優コーパスのパラ-スピーチとオノマトペ文を取り入れて韻律を豊かにする。
• 48 kHz の無響室で母語話者の女性による読み上げ音声を10時間録音する。
• モーラ数や発話あたりの単語数などの言語統計を付け、日ごとの F0 変動を測定・分析する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド TTS のために日常使用漢字のすべての発音を網羅する freely accessible な日本語話料コーパスを自由に入手できる形で構築できるか？
• RQ2 ドメインの変化（外来語、言い換え、旅行、前例など）がデータの多様性と発音の網羅性にどのように影響するか？
• RQ3 構築された JSUT コーパスの言語統計・音声統計は何で、録音日ごとにどのように変動するか？

主な発見

• JSUT コーパスは様々な言語内容を含む九つのサブコーパスと10時間の音声データから成る。
• basic5000 サブコーパスは日常使用漢字の主要な発音すべてを対象とする。
• コーパスは外来語、言い換え変種、オノマトペ、ドメイン固有の文を含み、網羅性を広げる。
• 音声データは 48 kHz の無響室で母語話者の女性から録音された。
• コーパスは UTF-8 テキストと 16-bit WAV 音声データを提供し、オンラインで自由に利用できる。
• 分析は発話長の幅を示し、録音日を追うごとに平均 log F0 の観測される増加を示している。