[論文レビュー] Multipurpose Intelligent Process Automation via Conversational Assistant

Alena Moiseeva, Dietrich Trautmann+2 more|arXiv (Cornell University)|Jan 7, 2020

Topic Modeling参考文献 10被引用数 5

ひとこと要約

本論文は、初期の訓練データが最小限である産業的eラーニング環境におけるインтелリジェントプロセスオートメーション（IPA）のための多目的対話アシスタントを提示する。ユーザーの対話から構造的で部分的にラベル付けされた対話データを自動収集することで、NLUコンポーネントの転移学習を可能にし、限られた監視情報のもとでも優れた性能を達成する。これにより、人的作業負荷が低減され、スケーラブルで適応可能な自動化が実現される。

ABSTRACT

Intelligent Process Automation (IPA) is an emerging technology with a primary goal to assist the knowledge worker by taking care of repetitive, routine and low-cognitive tasks. Conversational agents that can interact with users in a natural language are potential application for IPA systems. Such intelligent agents can assist the user by answering specific questions and executing routine tasks that are ordinarily performed in a natural language (i.e., customer support). In this work, we tackle a challenge of implementing an IPA conversational assistant in a real-world industrial setting with a lack of structured training data. Our proposed system brings two significant benefits: First, it reduces repetitive and time-consuming activities and, therefore, allows workers to focus on more intelligent processes. Second, by interacting with users, it augments the resources with structured and to some extent labeled training data. We showcase the usage of the latter by re-implementing several components of our system with Transfer Learning (TL) methods.

研究の動機と目的

• 初期段階で構造化された訓練データが存在しない実世界の産業的環境において、IPAのための対話システムを導入する課題に対処すること。
• eラーニングプラットフォームにおける学生の日常的問い合わせを自動化することで、人間のチューターが繰り返しで時間のかかる作業を減らすこと。
• 既存のワークフローを変更せず、ユーザーの対話から受動的に構造的で部分的にラベル付けされた対話データを収集すること。
• 転移学習を用いて、収集した少量の対話データ上で事前学習済みモデルを微調整し、NLUコンポーネントのファインチューニングの可能性を実証すること。
• ルールベースと学習可能なコンポonentsを組み合わせたハイブリッドアーキテクチャを実現し、本番環境における耐性と適応性を向上させること。

提案手法

• OMB+ eラーニングプラットフォーム上で、日常的な学生の問い合わせを処理するルールベースの対話システムを初期のIPAアシスタントとして導入する。
• システムの対話ログを用いて、ユーザーの質問と応答を最小限の人的介入で抽出・構造化し、対話データセットを生成する。
• 収集された部分的にラベル付けされた対話データ上で、主なNLUコンポーネント（特に次行動予測と名前付きエンティティ認識）を再訓練するための転移学習技術を適用する。
• 小規模でドメイン特化された対話データ上で事前学習済みNLPモデル（例：BERTベースのアーキテクチャ）をファインチューニングし、一般化性能と性能を向上させる。
• 訓練済みコンポーネントを、ルールベースと学習可能なモジュールが並列で動作するハイブリッドアーキテクチャに統合し、予測失敗時のフォールバック機能を備える。
• 既存の企業ツールおよびプラットフォームの既存のチャットインターフェースとの互換性を確保することで、シームレスな展開とユーザーとの対話が可能になるようにする。

実験結果

リサーチクエスチョン

• RQ1 初期段階で構造化された訓練データが存在しない実世界の産業的環境において、IPAのための対話アシスタントを効果的に展開できるか？
• RQ2 ユーザーの対話は、構造的で部分的にラベル付けされた訓練データを自動生成するためにどの程度活用可能か？
• RQ3 実際のユーザー対話から収集した小規模でドメイン特化された対話データセット上で、転移学習手法の性能はどの程度か？
• RQ4 学習可能なNLUコンポーネント（例：意図分類、名前付きエンティティ認識）は、耐性と適応性の観点からルールベースのシステムを上回るか、あるいは補完することができるか？
• RQ5 ルールベースと学習可能なコンポーネントを組み合わせたハイブリッドモデルは、本番環境におけるシステム信頼性の向上にどの程度の可能性を秘めているか？

主な発見

• 本システムは、人間のチューターが繰り返しで時間のかかる作業を減らし、より複雑で数学的に要求の高い学生の質問に集中できるようにした。
• ユーザーの対話から、手動でのラベル付けや対話フローの変更なしに、構造的で部分的にラベル付けされた対話データが受動的に生成された。
• 転移学習により、収集された対話データの少量のデータセット上でNLUコンポーネント（次行動予測と名前付きエンティティ認識）の効果的なファインチューニングが可能となり、妥当な性能が達成された。
• 再実装された学習可能なコンポーネントは、ルールベースのモジュールよりも一般化性能に優れており、予期しない対話パターン下でも誤った予測を減らす可能性を示した。
• ルールベースと学習可能なコンポーネントを組み合わせたハイブリッドモデルにより、システムの耐性が向上し、予測失敗時のフォールバック機能が実現された。
• 本アプローチは、わずかな量の収集済み対話データでも、IPAアプリケーション向けに効果的でスケーラブルなNLUコンポーネントを訓練できる可能性を示した。