[論文レビュー] Adapting Pretrained Transformer to Lattices for Spoken Language Understanding

Chao-Wei Huang, Yun-Nung Chen|arXiv (Cornell University)|Nov 2, 2020

Speech Recognition and Synthesis参考文献 16被引用数 4

ひとこと要約

本稿では、自動音声認識（ASR）から得られるラティス入力を処理するための事前学習トランスフォーマーの適応手法を提案する。ラティス到達可能性マスクと位置符号化を導入することで、複数のASR仮説を効果的に符号化し、音声認識品質が変動する状況下でもATISベンチマークで1-bestトランスクリプト比に比べ20.6%の相対誤差低減を達成した。

ABSTRACT

Lattices are compact representations that encode multiple hypotheses, such as speech recognition results or different word segmentations. It is shown that encoding lattices as opposed to 1-best results generated by automatic speech recognizer (ASR) boosts the performance of spoken language understanding (SLU). Recently, pretrained language models with the transformer architecture have achieved the state-of-the-art results on natural language understanding, but their ability of encoding lattices has not been explored. Therefore, this paper aims at adapting pretrained transformers to lattice inputs in order to perform understanding tasks specifically for spoken language. Our experiments on the benchmark ATIS dataset show that fine-tuning pretrained transformers with lattice inputs yields clear improvement over fine-tuning with 1-best results. Further evaluation demonstrates the effectiveness of our methods under different acoustic conditions. Our code is available at https://github.com/MiuLab/Lattice-SLU

研究の動機と目的

• スポoken言語理解（SLU）における1-best ASRトランスクリプトの限界を解決すること。1-bestトランスクリプトは誤字誤りに左右されやすく、後続のNLU性能を低下させる。
• テキスト処理で優れた性能を示すことで知られる事前学習トランスフォーマーモデルが、ASRシステムから得られる不確実なラティス構造入力に対して効果的に符号化できるかを検討すること。
• トランスフォーマーのアーキテクチャをラティスに対応させる手法を開発し、強力なインダクティブバイアスとトランスファー学習の能力を保持すること。
• ASR品質が低い状況でも一貫した性能向上を示すことを実証すること。
• 限られたデータでの学習におけるサンプル効率性とASR誤り率へのロバストネスを調査し、高品質なトランスクリプトに依存する必要を減らすことが可能かどうかを検証すること。

提案手法

• ラティスの構造を表現するためのラティス到達可能性マスクを導入し、トランスフォーマーがラティス内の有効なパスのみに注目できるようにする。
• ラティス内のノードのトポロジカル順序に基づいて位置埋め込みを割り当てるラティス位置符号化方式を設計し、構造的文脈を保持する。
• 1-best ASR出力の代わりにラティス入力を用いて、SLUタスクで事前学習済みGPTスタイルのトランスフォーマーを微調整する。
• [CLS]トークンの表現に線形分類器を適用し、意図検出とスロット予測を実行する。エンドツーエンドの微調整を実施する。
• Adam最適化法を用い、線形の学習率スケジューリング（ウォームアップ）を適用し、バッチサイズ8、エポック数5で学習を実施する。
• 標準アテンションとラティスに配慮したアテンションの2つのバリエーションを評価し、両者とも同じマスク入力表現を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習トランスフォーマーは、ASRシステムからのラティス構造入力に対して、SLUタスクで効果的に適応可能か？
• RQ2 1-bestトランスクリプトの代わりにラティス入力を用いることで、意図検出とスロット予測の性能に顕著な向上が見られるか？
• RQ3 特にASRの単語誤り率（WER）が高い状況下で、モデルの性能はどのように変化するか？
• RQ4 限られたデータで学習する際、モデルはサンプル効率的か？また、ノイズの多いラティス入力から学習するには、より多くの例が必要か？
• RQ5 1-bestトランスクリプトと比較して、ラティス入力はASR誤りに対してどの程度ロバスト性を向上させるか？

主な発見

• ラティス入力を用いた事前学習トランスフォーマーの微調整により、3つの音声認識品質条件下で、意図検出において1-bestベースライン比に比べそれぞれ32.4%、15.4%、20.6%の相対誤差低減を達成した。
• すべての音声認識品質条件下で一貫した性能向上を示し、特に単語誤り率（WER）が高い状況で最大の向上が観察された。
• ラティス入力をトポロジカル順に線形化しても性能が向上するため、代替語形の存在が理解を向上させていることが示唆された。
• 300～5,000例の全データサイズ範囲で、1-bestベースラインより2%のF1スコア優位を維持しており、優れたサンプル効率性を示した。
• WERが15%を超えると、ラティスベースのモデルが1-bestモデルを上回り、ASR品質が低い状況でもロバストであることが確認された。
• 定性的な分析から、正しい語（例：'far'）が低確率でラティス内に存在する場合でも、モデルが正しく意図を特定していることが確認され、ラティスの有効な利用が示された。