[論文レビュー] HarperValleyBank: A Domain-Specific Spoken Dialog Corpus

Mike Wu, Jonathan Nafziger+2 more|arXiv (Cornell University)|Oct 26, 2020

Topic Modeling参考文献 34被引用数 12

ひとこと要約

HarperValleyBank は、意図、対話行動、発話者身元、感情の正負に関するアノテーションを備えた、23時間にわたる人間同士の銀行取引対話から構成される公開でドメイン特化型の音声対話コーパスである。本論文では、対話の意図予測において Wav2Vec よりも最大70%の相対的向上を達成するが、対話行動予測は大規模事前学習にもかかわらず依然として困難であることを示す、対照的学習手法（例：SimCLR、MoCo）を用いた非教師あり表現学習のベースラインを確立した。

ABSTRACT

We introduce HarperValleyBank, a free, public domain spoken dialog corpus. The data simulate simple consumer banking interactions, containing about 23 hours of audio from 1,446 human-human conversations between 59 unique speakers. We selected intents and utterance templates to allow realistic variation while controlling overall task complexity and limiting vocabulary size to about 700 unique words. We provide audio data along with transcripts and annotations for speaker identity, caller intent, dialog actions, and emotional valence. The data size and domain specificity makes for quick transcription experiments with modern end-to-end neural approaches. Further, we provide baselines for representation learning, adapting recent work to embed waveforms for downstream prediction tasks. Our experiments show that tasks using our annotations are sensitive to both the model choice and corpus size.

研究の動機と目的

• 音声処理分野における研究および教育のための、自由に利用可能で、管理可能かつ現実的であるコーパスの提供。
• 目的志向型音声対話システムにおけるエンドツーエンドのニューラルモデルおよびマルチタスク学習の評価を可能にする。
• 意図および行動予測などの下流タスクに効果的に転送可能な、音声の非教師あり表現学習のベースラインを確立する。
• モデルアーキテクチャおよびコーパスサイズが、リソースが限られた環境における表現品質に与える影響を評価する。
• 音声対話システムにおけるドメイン間の転移学習および表現の整合性に関する研究を支援する。

提案手法

• コーパスは、Gridspace Mixer プラットフォームを介して収集され、クラウドワーカーを顧客および担当者としてペaired、模擬的な銀行取引を実施した。
• 対話はテンプレートを用いて事前にスクリプト化され、語彙数（約700語）を制御し、意図とスロットの多様性を確保しながらも、タスクの単純性を維持した。
• 音声データは、発話者身元、発話者意図、対話行動、感情の正負に関するトランスクリプトおよびアノテーションとペアにされた。
• 非教師あり表現学習には、コンピュータビジョンから適応された対照的学習手法（インスタンス識別、ローカル集約、モーメンタム対照、SimCLR）を用いた。
• 波形からスペクトログラムを計算し、zスコア化し、時間・周波数マスキングまたは波形クロップによる拡張を施した。表現は、下流タスクにおける線形プローブで評価された。
• 事前学習には、LibriSpeech データの100時間または960時間が使用され、モデルは発話者、意図、行動、感情予測のための微調整が行われた。

実験結果

リサーチクエスチョン

• RQ1 小規模でドメイン特化型の音声対話コーパスにおいて、非教師あり音声表現学習手法はどの程度効果的か？
• RQ2 より大きな音声データセットで事前学習をすることで、意図および対話行動予測の下流性能はどの程度向上するか？
• RQ3 異なる対照的学習目的（例：SimCLR、MoCo）は、対話タスクのための判別的音声表現を学習する上で、どのように比較されるか？
• RQ4 なぜ大規模事前学習にもかかわらず、対話行動予測は非教師あり表現において特に困難であるのか？
• RQ5 大規模事前学習からの表現転送は、リソースが限られた目的志向型対話システムにおいて、性能向上に効果的に寄与するか？

主な発見

• 対照的学習手法（例：SimCLR、MoCo）は、意図予測において教師ありベースラインを上回り、Wav2Vec より最大70%の相対的向上を達成した。
• 最良の非教師ありモデルは、LibriSpeech データ960時間で事前学習した場合、感情の正負予測で55.5% F1、意図予測で27.3% F1を達成した。
• 対話行動予測は依然として大きな課題であり、最良の非教師ありモデルでも17.4% F1にとどまり、教師あり手法に比べて著しく低い水準であった。
• スペクトル拡張（時間・周波数マスキング）は、LA や MoCo などのモデルにおいて、対話行動および感情予測の性能向上に寄与した。
• LibriSpeech データ960時間で事前学習した場合、100時間で事前学習した場合に比べ、意図および発話者識別で10〜15%の絶対的向上が得られた。
• Wav2Vec-2.0 が960時間で事前学習した場合、意図予測で27.3% F1を達成したが、同じデータで学習した SimCLR も27.3% F1を達成しており、対照的目的間で強い性能を示した。