[論文レビュー] Predicting Causes of Reformulation in Intelligent Assistants

Shumpei Sano, Nobuhiro Kaji+1 more|arXiv (Cornell University)|Jul 13, 2017

AI in Service Interactions参考文献 17被引用数 4

ひとこと要約

本論文は、音声認識（ASR）、自然言語理解（NLU）、対話管理（LG）の各コンポonentに特化した特徴量を用いて、インテリジェントアシスタント（IA）におけるユーザーの再表現の原因を予測する手法を提案する。実際の商用IAのログを用いた評価において、セッションおよび再表現関連特徴量のみを用いたベースラインと比較して、本手法は優れた性能を示した。これは、特にNLUおよびLGのエラーにおいて、コンポonent特化型特徴量が原因特定の精度を著しく向上させることを示している。

ABSTRACT

Intelligent assistants (IAs) such as Siri and Cortana conversationally interact with users and execute a wide range of actions (e.g., searching the Web, setting alarms, and chatting). IAs can support these actions through the combination of various components such as automatic speech recognition, natural language understanding, and language generation. However, the complexity of these components hinders developers from determining which component causes an error. To remove this hindrance, we focus on reformulation, which is a useful signal of user dissatisfaction, and propose a method to predict the reformulation causes. We evaluate the method using the user logs of a commercial IA. The experimental results have demonstrated that features designed to detect the error of a specific component improve the performance of reformulation cause detection.

研究の動機と目的

• インテリジェントアシスタントにおけるエラー原因特定を自動化すること。現在は、複雑で多コンポonent構成のシステムにおいて、ログの手動分析が障害要因となっている。
• ユーザーの再表現の背後にある根本的要因（ASR、NLU、LG、またはエラーなし）を特定・分類すること。これは、不満の兆候と見なされる。
• 商用IAの実際のユーザーログを用いて、システムパフォーマンス向上のサイクルを改善する予測モデルを開発すること。
• 将来のIAエラー診断研究に活用可能な、人間によるアノテーションが施された再表現原因データセットの作成

提案手法

• 再表現原因予測は、4クラス分類問題として定式化される：エラーなし、ASRエラー、NLUエラー、LGエラー。
• 特徴量は、IAコンポonentとの関連性に基づいて分類され、ASR信頼度、意図タイプ、入力モダリティ（音声／テキスト）、対話行動、入力タイプの切り替え（例：Voice2Text、Text2Voice）が含まれる。
• 線形カーネルSVMを、統合された特徴量集合上で学習させ、各エラークラスへの寄与度を評価するための特徴量重みを分析する。
• 商用IAのユーザーログを用いてモデルを評価し、セッションおよび再表現関連特徴量のみを用いたベースラインと性能を比較する。
• 交差検証を用いて中央値の特徴量重みを計算し、各エラー種別における予測に最も寄与する特徴量を解釈可能に特定する。

実験結果

リサーチクエスチョン

• RQ1 インテリジェントアシスタントにおいて、ユーザーの再表現の原因として最も頻繁に関与するのはどのコンポonentか？
• RQ2 一般特徴量と比較して、コンポonent特化型特徴量は、再表現原因検出の精度を向上させることができるか？
• RQ3 入力モダリティ（音声対比テキスト）および入力タイプの切り替えは、再表現原因予測にどのように影響するか？
• RQ4 特定のエラー種別（例：ASR、NLU、LG）を予測する上で、最も予測能の高い特徴量は何か？

主な発見

• 本手法は、コンポonent特化型特徴量を統合することで、マクロF1スコア0.66を達成し、ベースラインの0.47を上回った。
• ASR特化型特徴量（例：ASRConf、Voice2Text）は、ASRエラーの検出を著しく向上させ、『エラーなし』が誤って『ASRエラー』と分類されるのを低減した。
• Text2Voice や InputType といった特徴量は、特に音声対応テキスト変換の再表現パターンにおいて、NLUエラーの検出に特に有効であった。
• モデルは『エラーなし』および『ASRエラー』クラスでは最も高い性能を示したが、『NLU』および『LG』クラスでは、学習サンプル数が少なかったため、性能が低かった。
• 特徴量重みの分析により、コンポonent特化型特徴量（例：NLUのSameIntent、LGのDialogAct）が効果的に学習されており、期待されるエラーパターンと整合していることが確認された。