[論文レビュー] Speech Intention Understanding in a Head-final Language: A Disambiguation Utilizing Intonation-dependency

Won Ik Cho, Hyeon Seung Lee+3 more|arXiv (Cornell University)|Nov 10, 2018

Speech and dialogue systems参考文献 31被引用数 8

ひとこと要約

本稿では、語尾の抑揚に依存する文末の曖昧さを解消するため、韓国語（頭末語）における発話意図理解のための2段階型システムを提案する。まずテキストベースのフィルタリングを実施し、曇った発話に対してのみ音声解析を適用する。抑揚に依存する文末の形態を活用することで、発話行動（例：陳述、疑問、命令）の分類において高い正確性を達成し、音声計算量を最小限に抑えつつ、エンド・ツー・エンドモデルを上回る性能を発揮する。低リソース環境でも効率的である。

ABSTRACT

For a large portion of real-life utterances, the intention cannot be solely decided by either their semantic or syntactic characteristics. Although not all the sociolinguistic and pragmatic information can be digitized, at least phonetic features are indispensable in understanding the spoken language. Especially in head-final languages such as Korean, sentence-final prosody has great importance in identifying the speaker's intention. This paper suggests a system which identifies the inherent intention of a spoken utterance given its transcript, in some cases using auxiliary acoustic features. The main point here is a separate distinction for cases where discrimination of intention requires an acoustic cue. Thus, the proposed classification system decides whether the given utterance is a fragment, statement, question, command, or a rhetorical question/command, utilizing the intonation-dependency coming from the head-finality. Based on an intuitive understanding of the Korean language that is engaged in the data annotation, we construct a network which identifies the intention of a speech, and validate its utility with the test sentences. The system, if combined with up-to-date speech recognizers, is expected to be flexibly inserted into various language understanding modules.

研究の動機と目的

• 頭末語の一つである韓国語において、文法的・意味的手がかりだけでは不十分な場合に、発話意図を曇った状態から解消する課題に取り組むこと。
• テキストのみの解析によって曇っていない発話を事前にフィルタリングし、高コストな音声処理を回避することで、計算負荷を低減すること。
• 発話行動（陳述、疑問、命令、修辞的形態など）を、必要に応じてのみプロソディック特徴を統合することで、スケーラブルなフレームワークを構築すること。
• 研究支援を目的として、自由に利用可能なプロソディックアノテート済みコーパスを整備し、低リソースで頭末語の発話行動分類研究を促進すること。
• 特に自由な形での人間発話に対応するスマートエージェントを想定し、発話理解システムへの効率的な統合を可能にすること。

提案手法

• 本システムは2段階アーキテクチャを採用する。まず、自然言語処理（NLP）モデルを用いて、発話の曇っていないもの（例：断片、明確な陳述）をテキストベースのスieveで分類する。
• 曇った発話（特に文末助詞が不特定のもの）に対しては、抑揚特徴（例：抑揚のカーブ）を用いた音声支援アナライザーを起動する。
• 音声モデルは7,000組の音声・テキスト対データで学習され、バイディレクショナルLSTMとアテンション（BiLSTM-Att）を用いて、抑揚パターンに基づき発話行動を分類する。
• 本手法は、上昇型、下降型、下降上昇型、低上昇型の抑揚を区別し、それぞれが異なる発話行動（例：疑問、陳述、命令）に対応する。
• モジュラー構造を採用しており、追加のテキストまたは音声データによる段階的改善が可能であり、曇っていない入力に対しては余分な音声処理を回避する。
• 半自動データ収集パイプラインにより、61,225件のテキスト発話が生成され、そのうち2,000件が正確性の検証のため手動でアノテートされた。

実験結果

リサーチクエスチョン

• RQ1 テキストベースのスieveは、曇っていない発話行動を効果的にフィルタリングし、高コストな音声解析の必要性を低減できるか？
• RQ2 韓国語のような頭末語において、抑揚パターンは陳述、疑問、命令などの発話行動をどの程度曇った状態で解消できるか？
• RQ3 テキストと選択的音声解析を組み合わせた2段階型システムは、エンド・ツー・エンドのマルチモーダルモデルと比較して、正確性と効率性の面で優れているか？
• RQ4 韓国語用のプロソディックアノテート済みコーパスは、低リソース環境における発話意図認識システムの開発を支援できるか？
• RQ5 本手法は、他の頭末語や、むしろ非頭末語（例：英語）に対しても一般化可能か？ただし、プロソディックに曇った発話が存在する場合を想定する。

主な発見

• 提案された2段階型システムは、エンド・ツー・エンドモデルと同等またはそれ以上の性能を発揮し、BiLSTM-Attアーキテクチャを用いた7,000件のテストセットにおいて75.55%のテスト正確度を達成した。
• 曇った発話に対してのみ音声解析を適用することで、計算負荷が顕著に低減され、明確に識別可能な発話行動の冗長処理が回避された。
• 抑揚パターン（特に上昇型、下降型、低上昇型のカーブ）は発話行動タイプを非常に予測可能であり、疑問、陳述、命令の区別において高い正確性を示した。
• プロソディック特徴の統合により、韓国語に一般的に見られる文末助詞が不特定な発話の分類性能が向上した。
• 手動アノテートされたサブセットにおいて、本手法は高いアノテーター間一致度を示し、提案されたアノテーションスキームの信頼性が裏付けられた。
• 本手法はスケーラブルで、非頭末語（例：英語の陳述的疑問）を含む、プロソディックに曇った発話が存在する言語に対しても、他の言語への一般化が可能である。