[論文レビュー] Exploiting Sentence and Context Representations in Deep Neural Models for Spoken Language Understanding

Lina M. Rojas Barahona, Milica Gašić+5 more|arXiv (Cornell University)|Oct 13, 2016

Speech and dialogue systems参考文献 18被引用数 14

ひとこと要約

この論文は、語の対応付けられていない意味的アノテーションを活用し、畳み込みニューラルネットワーク（CNN）を用いた文の表現学習とLSTMを用いた文脈モデリングにより、対話行動とスロット値ペアを同時に予測する深層ニューラルネットワークアーキテクチャを提案する。このモデルは、手動の特徴工学や脱語彙化を必要とせず、DSTC2およびIn-carデータセットにおいてICEスコアおよびF1スコアで先行研究を上回り、最先端の性能を達成している。

ABSTRACT

This paper presents a deep learning architecture for the semantic decoder component of a Statistical Spoken Dialogue System. In a slot-filling dialogue, the semantic decoder predicts the dialogue act and a set of slot-value pairs from a set of n-best hypotheses returned by the Automatic Speech Recognition. Most current models for spoken language understanding assume (i) word-aligned semantic annotations as in sequence taggers and (ii) delexicalisation, or a mapping of input words to domain-specific concepts using heuristics that try to capture morphological variation but that do not scale to other domains nor to language variation (e.g., morphology, synonyms, paraphrasing ). In this work the semantic decoder is trained using unaligned semantic annotations and it uses distributed semantic representation learning to overcome the limitations of explicit delexicalisation. The proposed architecture uses a convolutional neural network for the sentence representation and a long-short term memory network for the context representation. Results are presented for the publicly available DSTC2 corpus and an In-car corpus which is similar to DSTC2 but has a significantly higher word error rate (WER).

研究の動機と目的

• 語の対応付けられていない意味的アノテーションや手動の脱語彙化に依存しない、スプoken言語理解のための意味的デコーダーの開発。
• 分散された意味的表現を活用することで、低リソースおよびノイズの多いASR環境における耐性を向上。
• アプリケーション固有の意味的辞書を必要とせず、多様な対話ドメインにスケーラブルに展開可能にする。
• 最小限の前処理で、エンドツーエンドの深層学習により、対話行動とスロット値ペアを同時に予測可能にする。
• 高誤り率の単語誤り率下での文脈モデリングのスロット補填性能への影響を評価する。

提案手法

• 生の発話から文レベルの表現を学習するために畳み込みニューラルネットワーク（CNN）を用いる。
• 対話履歴にわたる文脈的依存関係をモデル化するために、長短記憶ネットワーク（LSTM）を用いる。
• CNNとLSTMの上位特徴を非線形関数で結合し、対話行動とスロットの存在を共同で予測する。
• 第1段階で、対話行動分類とスロット分類のための別々のソフトマックス層を適用する。
• 第2段階で、検出された各スロットごとに1つのソフトマックス層を用いてスロット値を予測する。
• 明示的な脱語彙化やヒューリスティックなマッピングを避けるために、非対応の意味的アノテーション上でエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 語の対応付けられていない意味的アノテーションを必要とせず、対話行動とスロット値ペアを同時に予測できる深層ニューラルネットワークアーキテクチャは構築可能か？
• RQ2 文の表現と文脈の表現の統合は、ノイズの多いASR仮説における性能向上にどのように寄与するか？
• RQ3 分散単語表現は、意味的デコーディングにおいて手動の脱語彙化をどの程度代替可能か？
• RQ4 高誤り率下において、文脈モデリングはスロットF-measureを顕著に向上させるか？
• RQ5 異なる対話ドメインおよび異なるスロットの多様性（カーディナリティ）下で、モデルの性能はどの程度か？

主な発見

• 4語の文脈窓を用いたCNN+LSTMモデルは、DSTC2コーパスで0.758の最良のアイテム交差エントロピー（ICE）スコアを達成し、すべてのベースラインを上回った。
• In-carコーパスでは、ICEスコアが1.106に達し、WNGRAMSベースライン（1.497）を著しく上回り、WNGRAMS+Ctxtベースライン（1.497）と同等の性能を示した。
• DSTC2ではF1スコアが83.59%に達し、SLU1ベースライン（80.2%）を上回り、手動特徴なしで優れた一般化性能を示した。
• In-carではF1スコアが73.06%に達し、WNGRAMSベースライン（70.8%）を上回り、文脈特徴を用いていなくてもWNGRAMS+Ctxtモデルの性能に近づいた。
• 高誤り率下でもモデルの耐性が高く、文脈モデリングがノイズの多い状況下でのスロットF-measureを顕著に向上させた。
• DSTC2コーパスでは対話行動分類で95.72%の精度を達成し、スロット分類ではF1が90.60%に達し、意味的理解タスクにおける強力な性能を示した。