[論文レビュー] ClovaCall: Korean Goal-Oriented Dialog Speech Corpus for Automatic Speech Recognition of Contact Centers

Jung-Woo Ha, Ki-Hyun Nam+12 more|arXiv (Cornell University)|Apr 20, 2020

Speech and dialogue systems参考文献 22被引用数 6

ひとこと要約

ClovaCallは、実際のレストラン予約電話から得た60,746組の発話文対を含む、最初の大規模な韓国語目的指向対話音声コーパスを提供する。Deep Speech 2およびLASモデルを用いた評価において、特に一般ドメインデータで事前学習した後に微調整した場合に、ASR性能が顕著に向上することを示しており、コールセンターアプリケーションにおけるタスク固有のコーパスの重要性を実証している。

ABSTRACT

Automatic speech recognition (ASR) via call is essential for various applications, including AI for contact center (AICC) services. Despite the advancement of ASR, however, most publicly available call-based speech corpora such as Switchboard are old-fashioned. Also, most existing call corpora are in English and mainly focus on open domain dialog or general scenarios such as audiobooks. Here we introduce a new large-scale Korean call-based speech corpus under a goal-oriented dialog scenario from more than 11,000 people, i.e., ClovaCall corpus. ClovaCall includes approximately 60,000 pairs of a short sentence and its corresponding spoken utterance in a restaurant reservation domain. We validate the effectiveness of our dataset with intensive experiments using two standard ASR models. Furthermore, we release our ClovaCall dataset and baseline source codes to be available via https://github.com/ClovaAI/ClovaCall.

研究の動機と目的

• コールセンターアプリケーションにおける自動音声認識（ASR）の分野で、大規模かつタスク固有の韓国語音声コーパスが不足している問題に対処すること。
• 韓国語のレストラン予約シナリオに特化した高品質な目的指向対話データセットを提供すること。
• タスク固有のデータが、実世界のAICC（コールセンターモードAI）サービスにおけるASR性能を向上させる有効性を検証すること。
• 公開可能な高品質な韓国語コーパスを提供することで、低リソース言語のASR分野の研究を支援すること。
• 一般ドメインデータで事前学習した後、タスク固有データで微調整することで、完全から学習する場合よりも優れた結果が得られることを示すこと。

提案手法

• ClovaCallコーパスは、11,000人以上の参加者が事前に定義された短い文を読み上げた模擬レストラン予約通話から収集された。
• このデータセットには、1つの目的指向ドメイン（レストラン予約）に特化した60,746組の発話文と対応する転写文が含まれている。
• 短く自然に発話された質問と回答を用いることで、アライメントやエンドポイント検出の問題を最小限に抑える設計がなされている。
• 標準的な2つのASRモデル（Deep Speech 2（DS2）とListen, Attend and Spell（LAS））を、3つの学習スキーム（事前学習＋微調整、完全から学習、データ拡張を伴う完全から学習）で訓練した。
• 事前学習はAIHubの一般ドメイン韓国語コーパスを用い、その後ClovaCallまたはより小さなQAベースの通話コーパスで微調整した。
• ノイズ拡張（NA）やSpecAugment（SA）などのデータ拡張技術を適用して耐性を評価したが、録音に元から含まれるノイズの影響で効果は限定的であった。

Figure 1: Distributions of four attributes on the raw set of ClovaCall dataset (goal-oriented) with blue bars compared to those of AIHub dataset (open domain) with orange bars. We can find the different patterns between two datasets for all attributes.

実験結果

リサーチクエスチョン

• RQ1 一般ドメインコーパスのみを用いる場合と比較して、タスク固有の目的指向韓国語音声コーパスがASR性能を向上させるか？
• RQ2 AIHubのような大規模な一般ドメインコーパスで事前学習した後、ClovaCallのような小規模なドメイン固有コーパスで微調整することで、ASR性能が向上するか？
• RQ3 ClovaCallで完全から学習したASRモデルの性能と、一般ドメインデータで事前学習した後、ClovaCallで微調整したモデルの性能は、どのように比較されるか？
• RQ4 データ拡張技術（NAおよびSA）は、ClovaCallデータセットにおけるASR精度をどの程度向上させるか？
• RQ5 CERおよび耐性の観点から、AIHubやQAベースの通話データセットと比較してClovaCallの性能はどの程度か？

主な発見

• 一般ドメインのAIHubコーパスで事前学習した後、ClovaCallで微調整することで、LASの語誤り率（WER）が8.0%、DS2が8.31%に低下し、完全から学習する場合に比べ顕著に優れた性能を示した。
• ClovaCallで完全から学習した場合、DS2のWERは11.4%、LASは15.1%に留まり、タスク固有のデータが高性能を達成するために不可欠であることが示された。
• AIHubで事前学習した後、ClovaCallで微調整することで、LASのWERは完全から学習したAIHubのみの場合と比較して69.2%低下し、DS2では59.5%低下した。
• QAベースの通話コーパスは、事前学習＋微調整および完全から学習の両方のシナリオでClovaCallを上回った。これは、より大きなテストセットと幅広い語彙の影響によるものと推定される。
• データ拡張（NAおよびSA）による向上効果は限定的であり、録音にすでに十分なノイズが含まれていたこと、またLASのような小規模モデルでは過剰な拡張が性能を損なう可能性があることが示唆された。
• 結果から、目的指向対話システムにおけるASRの分野では、特に韓国語のような低リソース言語において、タスク固有のコーパスが極めて重要であることが確認された。

Figure 2: Comparison between ClovaCall and AIHub datasets in terms of frequency rank-ratio of each word and character. Left and right graphs are for word and character.