[論文レビュー] Mining Procedures from Technical Support Documents

Abhirut Gupta, Abhay Khosla+2 more|arXiv (Cornell University)|May 24, 2018

Business Process Modeling and Analysis参考文献 5被引用数 4

ひとこと要約

本論文では、自然言語処理（NLP）および機械学習を用いて、非構造的な技術的サポート文書から構造的なトラブルシューティング手順を抽出するシステムを提示する。手順を特定し、意思決定ポイントと関連する命令ブロックを抽出し、条件分岐論理をマッピングすることで、自然言語ガイドを実行可能なワークフローに変換し、テキスト類似度のしきい値を用いて85%の正確性で条件分岐をマッピングする。この技術により、インテリジェントなチャットボットやRPAの応用が可能になる。

ABSTRACT

Guided troubleshooting is an inherent task in the domain of technical support services. When a customer experiences an issue with the functioning of a technical service or a product, an expert user helps guide the customer through a set of steps comprising a troubleshooting procedure. The objective is to identify the source of the problem through a set of diagnostic steps and observations, and arrive at a resolution. Procedures containing these set of diagnostic steps and observations in response to different problems are common artifacts in the body of technical support documentation. The ability to use machine learning and linguistics to understand and leverage these procedures for applications like intelligent chatbots or robotic process automation, is crucial. Existing research on question answering or intelligent chatbots does not look within procedures or deep-understand them. In this paper, we outline a system for mining procedures from technical support documents. We create models for solving important subproblems like extraction of procedures, identifying decision points within procedures, identifying blocks of instructions corresponding to these decision points and mapping instructions within a decision block. We also release a dataset containing our manual annotations on publicly available support documents, to promote further research on the problem.

研究の動機と目的

• 技術的サポート文書に含まれる手順についての深い理解が不足していること、これはトラブルシューティングに不可欠であるが、NLPシステムでは未だ活用されていないことに対処すること。
• 非構造的な自然言語文書から、意思決定ポイントと命令ブロックを含む、実行可能な構造的手順を抽出すること。
• 自由なテキストによる手順を機械が理解可能なワークフローに変換することで、インテリジェントなチャットボットやロボティックプロセスオートメーション（RPA）などの後続応用を可能にすること。
• 今後の研究を支援するため、手作業でアノテートされたデータセットを公開すること。

提案手法

• リスト構造（例：番号付きステップ）などの特徴を用いたベースラインモデルを用い、技術的サポート文書から手順を特定・抽出する。
• 命令形動詞の検出を適用することで、リスト構造の特徴が欠落している場合でも、手順の境界特定を改善する。
• 条件文（例：'if'、'unless'）の検出により意思決定ポイントを特定し、70%のしきい値でテキスト類似度を用いて、命令を'True'または'False'の分岐にマッピングする。
• ルールベースのヒューリスティクスとシンプルなベースラインを組み合わせ、文単位の構造と条件分岐論理を活用して意思決定ブロックを抽出する。
• 抽出された手順を知識グラフに統合し、生産用チャットボット（DESIRE）に統合することで、条件付きの質問を伴う段階的ガイダンスを可能にする。
• テンプレートベースの質問生成（例：'Xがありますか？'）を用いてユーザーに意思決定ポイントを提示し、否定語検出により応答をルーティングする。

実験結果

リサーチクエスチョン

• RQ1 非構造的な技術的サポート文書から、自動的に構造的手順を抽出する方法は何か？
• RQ2 リスト構造、命令形動詞などの特徴のうち、どの特徴が手順境界検出を最も効果的に改善するか？
• RQ3 テキスト類似度を用いて、手順内の条件分岐論理を'True'または'False'の分岐にどの程度正確にマッピングできるか？
• RQ4 抽出された手順は、インテリジェントなチャットボットやRPAシステムの性能をどの程度向上できるか？
• RQ5 特にトレーニングデータが限られている状況下で、意思決定ブロック内の命令を正しい実行パスにマッピングする上での課題は何か？

主な発見

• 分析されたIBM技術的サポート文書の約58%が、少なくとも1つの手順を含んでおり、このコンテンツタイプの広範な存在が示された。
• 70%の類似度しきい値を用いた場合、システムは意思決定ブロック内の85%の命令を正しい分岐（TrueまたはFalse）に正しくマッピングした。
• 命令形動詞の検出により、リスト構造の特徴が利用できない場合でも、手順抽出のパフォーマンスが向上した。
• システムはDESIREチャットボットに正常に統合され、条件付きの質問を伴う段階的で条件に配慮した対話フローによるトラブルシューティングを可能にした。
• 有望な結果が得られたが、訓練データが限られているため、意思決定ブロック内の命令のマッピングは依然として困難であり、より大規模なデータセットの必要性が示された。
• 著者らは、今後の技術文書からの手順抽出に関する研究を支援するため、アノテート済みデータセットを公開する予定である。