[論文レビュー] Multi-modal Automated Speech Scoring using Attention Fusion

Manraj Singh Grover, Yaman Kumar+4 more|arXiv (Cornell University)|May 17, 2020

Speech Recognition and Synthesis参考文献 20被引用数 6

ひとこと要約

本論文は、音声（BDRCNN経由）およびテキスト（BDLSTM経由）特徴量間のアテンション統合を用いて、非ネイティブ英語話者の自動発話採点のためのマルチモーダルエンドツーエンドニューラルモデルを提案する。このモデルは最先端の性能を達成し、音声のみのベースラインに対して42.6％の相対的改善、テキストのみのモデルに対して8.2％の相対的改善を示しており、両モダリティへの統合的アテンションが採点精度を顕著に向上させることを示している。

ABSTRACT

In this study, we propose a novel multi-modal end-to-end neural approach for automated assessment of non-native English speakers' spontaneous speech using attention fusion. The pipeline employs Bi-directional Recurrent Convolutional Neural Networks and Bi-directional Long Short-Term Memory Neural Networks to encode acoustic and lexical cues from spectrograms and transcriptions, respectively. Attention fusion is performed on these learned predictive features to learn complex interactions between different modalities before final scoring. We compare our model with strong baselines and find combined attention to both lexical and acoustic cues significantly improves the overall performance of the system. Further, we present a qualitative and quantitative analysis of our model.

研究の動機と目的

• 非ネイティブ英語発話の自動評価のためのエンドツーエンドマルチモーダルディープラーニングフレームワークの開発。
• アテンションメカニズムを用いた音声および語彙的特徴量の統合による採点性能の向上。
• 音声およびテキストモダリティにおける学習済みアテンション重みの分析を通じたモデルの解釈可能性の評価。
• 分布シフト（例：本物の発話をホワイトノイズや合成TTS出力に置き換える）に対するモデルの頑健性の評価。
• さまざまな難易度レベルにおいて、音声およびテキストモダリティの相対的寄与度が応答スコアに与える影響の調査。

提案手法

• ログスケール化されたメルスペクトログ램を、双方向リカレント畳み込みニューラルネットワーク（BDRCNN）を用いて音声表現に符号化する。
• ASR出力の単語埋め込みに、双方向LSTM（BDLSTM）を適用してテキストコンテンツ表現を学習する。
• 符号化された音声およびテキスト特徴量に、学習済みのアテンション統合を適用し、最終スコアリングの前に複雑なクロスモダリティ相互作用をモデル化する。
• 300次元のGloVe埋め込みをWikipediaから初期化し、訓練中に微調整してテキスト符号化に使用する。
• 可視化およびモダリティごとのセグメントごとの注目度の定性的分析のため、アテンション重みに最小-最大正規化を適用する。
• 本物の音声入力をホワイトノイズおよびTTS生成音声に置き換えることで、モデルの頑健性を評価するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 音声およびテキストモダリティ間のアテンション統合は、単一モダリティモデルと比較して、自動発話採点性能をどのように向上させるか？
• RQ2 さまざまな応答品質レベルにおいて、音声および語彙的特徴量が最終採点意思決定に与える相対的寄与度は何か？
• RQ3 アテンション重みは音声およびテキストモダリティにどのように分布しており、人間の採点パターンと相関するか？
• RQ4 本物のL2発話とは異なり、ネイティブTTSやホワイトノイズなどの非L2発話を使用してテストした場合、モデル性能はどのように低下するか？
• RQ5 モデルのアテンションは、意味を含む豊かなセグメントや、断続的な発話（例："uh" や "um"）に有意義にシフトするか？また、そのようなシフトは採点結果と関連づけられるか？

主な発見

• 提案されたマルチモーダルアテンション統合（MMAF）モデルは、プロンプト1で52.9％のQWKを達成し、BDLSTMのみのモデル（47.3％）およびBDRCNNのみのモデル（30.2％）に対して、それぞれ8.2％および42.6％の相対的改善を示した。
• MMAFの全プロンプトにおける平均QWKは0.458であり、音声のみのBDRCNNAttnモデルに対して42.6％の相対的改善、テキストのみのBDLSTMAttnモデルに対して8.2％の改善を達成した。
• モデルはテキスト特徴量を強く好む傾向を示しており、全プロンプトにわたり、音声とテキストの注目度比が約85:15となる。
• 低スコアの応答では、音声への注目度がわずかに増加しており、これはASRの単語誤り率の上昇および発話の聞きやすさの低下と相関している。
• 本物の音声をホワイトノイズに置き換えると、平均でQWKが23.8％低下し（しきい値最適化なし）、TTS生成音声に置き換えると27.2％低下する。これは、モデルがL2発話の特徴に敏感であることを示している。
• 定性的分析により、モデルが流暢で意味の豊かなセグメント（例："no smoking"）ではテキストに注目する一方、"uh" や "um" などの断続的発話では音声に注目することが確認された。