[論文レビュー] ESSMArT Way to Manage User Requests

Maleknaz Nayebi, Liam Dicke+3 more|arXiv (Cornell University)|Aug 11, 2018

Advanced Text Analysis Techniques参考文献 41被引用数 8

ひとこと要約

ESSMArT は、テキスト要約、チケットのエスカレーション予測、開発者向けチケットタイトルおよび内容の生成、開発者へのチケット割り当てを実行することで、ソフトウェア開発におけるユーザー要請を包括的かつ自動的に管理する手法である。4,114件の実際のチケットを用いた評価において、平均的な要請処理時間を 9.2 分短縮し、人的な提案と 71% の整合性を達成した。コンテキスト情報および要約データを用いたランダムフォレストを用いたエスカレーション予測では、正確性（precision）が 0.9、再現率（recall）が 0.55 を達成した。

ABSTRACT

Quality and market acceptance of software products is strongly influenced by responsiveness to user requests. Once a request is received from a customer, decisions need to be made if the request should be escalated to the development team. Once escalated, the ticket must be formulated as a development task and be assigned to a developer. To make the process more efficient and reduce the time between receiving and escalating the user request, we aim to automate of the complete user request management process. We propose a holistic method called ESSMArT. The methods performs text summarization, predicts ticket escalation, creates the title and content of the ticket used by developers, and assigns the ticket to an available developer. We internally evaluated the method by 4,114 user tickets from Brightsquid and their secure health care communication plat- form Secure-Mail. We also perform an external evaluation on the usefulness of the approach. We found that supervised learning based on context specific data performs best for extractive summarization. For predicting escalation of tickets, Random Forest trained on a combination of conversation and extractive summarization is best with highest precision (of 0.9) and recall (of 0.55). From external evaluation we found that ESSMArT provides suggestions that are 71% aligned with human ones. Applying the prototype implementation to 315 user requests resulted in an average time reduction of 9.2 minutes per request. ESSMArT helps to make ticket management faster and with reduced effort for human experts. ESSMArT can help Brightsquid to (i) minimize the impact of staff turnover and (ii) shorten the cycle from an issue being reported to an assignment to a developer to fix it.

研究の動機と目的

• ユーザー要請のエンドツーエンド管理を自動化し、人的作業と解決までの時間を削減すること。
• チケット処理におけるエキスパート知識への依存を低減することで、スタッフの離職による影響を最小限に抑えること。
• 要請のエスカレーション効率を向上させ、どのチケットが開発対象となるかを予測すること。
• ユーザー要請から、開発者向けに正確なチケットタイトルおよび説明文を自動生成すること。
• 負荷と専門知識の適合度に基づいて、適切な開発者にチケットを割り当てることで、タスクルーティングの効率を高めること。

提案手法

• 文脈固有のデータで学習した抽出型要約技術を用い、ユーザー要請を要約する。
• 会話履歴と抽出型要約を統合したデータを用い、特にランダムフォレストを用いた教師あり機械学習により、要請が開発対象にエスカレートされるかどうかを予測する。
• 要約済みで文脈化された入力をもとに自然言語生成を用いてチケットタイトルおよび内容を生成する。
• 利用可能状態とスキル適合度に基づいて、空いている開発者にチケットを動的に割り当てるモジュールを実装する。
• すべてのモジュールを統合した一貫したパイプラインを構築し、ユーザー要請管理のエンドツーエンド自動化を実現する。
• Brightsquid および Secure-Mail から収集した 4,114 件の内部データを用いて手法を検証し、チケット作成提案の品質について外部評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 文脈固有のデータで学習した抽出型要約は、ソフトウェアサポート環境におけるユーザー要請の要約にどの程度効果的か？
• RQ2 ユーザー要請が開発対象にエスカレートされるかどうかを予測する際、どの機械学習モデルが最も優れた性能を示すか？
• RQ3 ESSMArT が生成するチケットタイトルおよび説明文は、人的に作成されたものとどの程度一致するか？
• RQ4 ESSMArT を用いたユーザー要請管理の自動化により、どの程度の時間短縮が達成できるか？
• RQ5 ESSMArT は、チケット処理における人的な専門的判断への依存を低減することで、スタッフの離職による影響を軽減できるか？

主な発見

• 文脈固有のデータに基づく教師あり学習が、抽出型要約において最も優れた結果をもたらし、汎用的または非教師ありアプローチを上回った。
• 会話履歴と抽出型要約の両方を組み合わせたデータで学習したランダムフォレストが、エスカレーション予測において最高のパフォーマンスを示し、正確性（precision）が 0.9、再現率（recall）が 0.55 を達成した。
• 外部評価では、ESSMArT のチケット作成提案が人的提案と 71% 一致しており、実用的・実務的妥当性が確認された。
• プロトタイプ実装により、1件あたりのユーザー要請処理時間が平均 9.2 分短縮され、処理効率が著しく向上した。
• ESSMArT はエキスパート知識への依存を効果的に低減し、サポートチームにおけるスタッフ離職の影響を緩和するのに有効である。
• 要請報告から開発者への割り当てまでのサイクルタイムが短縮され、全体の対応性およびソフトウェア製品の品質が向上した。