[論文レビュー] Cross-Attention End-to-End ASR for Two-Party Conversations

Suyoun Kim, Siddharth Dalmia+1 more|arXiv (Cornell University)|Jul 24, 2019

Speech Recognition and Synthesis参考文献 39被引用数 4

ひとこと要約

本論文では、複数回話の間で両方の話者からの話者固有の会話的文脈を活用することで、長時間の会話認識を向上させるクロスアテンションを組み込んだエンドツーエンドASRモデルを提案する。現在の話者と他話者の発話履歴に注目する話者固有のクロスアテンション機構を統合することで、モデルはSwitchboardで16.4%のWER、CallHomeで29.8%のWERを達成し、標準的なエンドツーエンドモデルを上回った。

ABSTRACT

We present an end-to-end speech recognition model that learns interaction between two speakers based on the turn-changing information. Unlike conventional speech recognition models, our model exploits two speakers' history of conversational-context information that spans across multiple turns within an end-to-end framework. Specifically, we propose a speaker-specific cross-attention mechanism that can look at the output of the other speaker side as well as the one of the current speaker for better at recognizing long conversations. We evaluated the models on the Switchboard conversational speech corpus and show that our model outperforms standard end-to-end speech recognition models.

研究の動機と目的

• 長時間の二者間会話におけるエンドツーエンド音声認識を、話者間の文脈的依存関係をモデル化することで向上させること。
• 従来のASRモデルが話者間の文脈を無視し、孤立した発話に依存するという限界を是正すること。
• 音声表現と会話的文脈表現を統合的に最適化する一貫性のあるエンドツーエンドフレームワークを構築すること。
• 話者固有のクロスアテンション機構が、発話間の長距離依存関係をどのように捉えられるかを評価すること。
• SwitchboardやCallHomeのような標準的な会話音声ベンチマークで、性能向上を実証すること。

提案手法

• モデルはCNN-BLSTMエンコーダーと、CTC/アテンションを統合したトレーニングを採用するアテンションベースのデコーダーを用いる。
• 複数回話の発話履歴のBERT表現から得られる話者固有の会話的文脈埋め込みを導入する。
• クロスアテンション機構により、各話者のデコーダーが自らの発話履歴と他話者の発話履歴の両方に注目できるようにする。
• 発話間の相互作用を動的に追跡するために、matchLSTMベースのアテンション機構を採用する。
• ミニバッチ間での文脈保持を確保するため、対話のシリアライズドバッチを用いてトレーニングを行い、AdaDelta最適化と勾配クリッピングを適用する。
• PyTorchとESPnetを用いてフレームワークを実装し、左-右ビームサーチによるデコードと長さ正規化を実施する。

実験結果

リサーチクエスチョン

• RQ1 話者間の会話的文脈をモデル化することで、長時間の二者間会話におけるエンドツーエンドASR性能を向上させることができるか？
• RQ2 現在の話者と他話者の履歴を比較する話者固有のクロスアテンションが、認識精度にどのように影響するか？
• RQ3 アテンション機構を介して複数回話の発話履歴を統合することで、標準的なエンドツーエンドモデルと比較してWERが低減するか？
• RQ4 アテンション機構の種別（例：matchLSTM対標準アテンション）が、会話の流れを捉える能力にどのように影響するか？
• RQ5 外部言語モデルを用いずに、一貫したエンドツーエンドモデルが音声表現と会話的文脈表現を同時に最適化できるか？

主な発見

• matchLSTMベースのクロスアテンションを用いた本手法は、Switchboard評価セットで16.4%のWERを達成し、ベースラインのエンドツーエンドモデルを上回った。
• CallHomeセットでは29.8%のWERを達成し、ベースラインと比較して1.1%の相対的低減を示した。
• 全履歴長にわたり、matchLSTMバージョンが標準アテンション機構をわずかに上回った。これは、会話の流れをより効果的に追跡できることを示唆している。
• アテンション可視化の結果、モデルは意味的に情報量の多い発話を注目し、短い非語彙的フィラー（例：'oh' や 'heck yeah'）を無視していることが確認された。
• 追加のアテンションパラメータを考慮すると、vanilla会話モデルからの事前学習が安定した収束に不可欠であった。
• SwitchboardおよびCallHomeの両方で一貫したWER低減が達成され、多様な会話パターンに強い性能を示した。