[論文レビュー] Incrementalizing RASA's Open-Source Natural Language Understanding Pipeline

Andrew Rafla, Casey Kennington|arXiv (Cornell University)|Jul 11, 2019

Topic Modeling参考文献 12被引用数 13

ひとこと要約

本稿では、RASAのオープンソースNLUパイプラインにおけるインクリメンタル処理を提案し、インクリメンタルユニット（IU）フレームワーク内でのADDおよびREVOKE操作を用いて、単語単位の入力を処理できるようにコンポーネントを適応させた。更新インクリメンタル（SIUM）および再起動インクリメンタル（TensorFlow Embeddings）の両方の意図認識モデルを実装し、Snipsデータセット上で非インクリメンタルベースラインと同等のパフォーマンスを達成したことが示され、インクリメンタル処理の実現可能性と正しさが検証された。

ABSTRACT

As spoken dialogue systems and chatbots are gaining more widespread adoption, commercial and open-sourced services for natural language understanding are emerging. In this paper, we explain how we altered the open-source RASA natural language understanding pipeline to process incrementally (i.e., word-by-word), following the incremental unit framework proposed by Schlangen and Skantze. To do so, we altered existing RASA components to process incrementally, and added an update-incremental intent recognition model as a component to RASA. Our evaluations on the Snips dataset show that our changes allow RASA to function as an effective incremental natural language understanding service.

研究の動機と目的

• RASAのNLUパイプラインがユーザー発話の単語単位での逐次処理を可能にし、対話システムにおける自然さと応答性を向上させること。
• 従来のNLUツールが全発話を一度に処理するため、リアルタイムでのユーザー相互作用が制限されているという問題に対処すること。
• インクリメンタル処理を可能にするために、RASAのオープンソースフレームワークに新しいコンポーネントを追加し、既存のコンポーネントを変更すること。
• インクリメンタル実装の正しさとパフォーマンスを評価し、意図およびエンティティ認識の精度が非インクリメンタルベースラインと同等であることを確認すること。

提案手法

• トークナイザー、CRFエンティティ抽出器、Bag-of-Words特徴量抽出器といったRASAコンポーネントを、ADDおよびREVOKE操作を用いて逐次処理できるように変更した。
• 各発話接頭辞が完全な発話として扱われるよう、新しい単語が到着する度に再訓練する再起動インクリメンタルなTensorFlow Embeddingsモデルを実装した。
• 内部状態を保持し、ベイズ更新を用いて意図分布を逐次更新する更新インクリメンタルなSIUMモデルを設計した。
• 任意のコンポーネント（例：ASRや対話マネージャ）が発話完了をトリガーできる、柔軟な発話終了シグナル送信メカニズムを追加した。
• インクリメンタル処理をシミュレートし、誤った単語を挿入してその後に削除（REVOKE）するテストを実施するため、IncrementalInterpreterを用いた。
• Snipsデータセットの700発話のサブセットを用いて、意図およびエンティティのF1スコアを用いてパフォーマンスを評価し、インクリメンタル版と非インクリメンタル版を比較した。

実験結果

リサーチクエスチョン

• RQ1 RASAのNLUパイプラインは、認識精度を維持したまま、単語単位での逐次処理を効果的に可能にすることができるか？
• RQ2 実世界のNLUパイプラインにおける意図認識に応用した場合、更新インクリメンタルと再起動インクリメンタルのアプローチは、パフォーマンスでどのように比較されるか？
• RQ3 ADD/REVOKEというインクリメンタル処理メカニズムの追加が、誤り状態下でも意図およびエンティティ認識の正しさを保持できるか？
• RQ4 インクリメンタル化されたRASAパイプラインは、リアルタイムのASR入力に対応するライブ対話システムで使用可能か？また、非インクリメンタル処理と比較してどうなるか？

主な発見

• インクリメンタル化されたRASAパイプラインは、ADDおよびREVOKE操作を正しく処理しており、挿入された誤った単語に続いてREVOKEが行われた場合、それらの単語が一切追加されていない場合と同じ出力が得られた。
• インクリメンタル版の意図およびエンティティ認識におけるF1スコアは、非インクリメンタルベースラインから1%以内の差に留まり、パフォーマンス劣化はほとんどないことが示された。
• 再起動インクリメンタルなTensorFlow Embeddingsモデルは、各発話接頭辞に対して意図分布を再評価できており、完全な発話処理と一貫性を保っていた。
• 更新インクリメンタルなSIUMモデルは、ベイズ更新を用いて意図分布を効果的に逐次維持・更新でき、リアルタイム推論をサポートした。
• 実装はRASAのモジュラーなパイプラインアーキテクチャに正常に統合され、複数のコンポーネントが連携してインクリメンタル処理を実行できた。
• 結果として、RASAのようなオープンソースNLUシステムにインクリメンタル処理を実装しても、認識精度を損なわず、より自然で応答性の高い対話システムの実現が可能であることが確認された。