[논문 리뷰] Mining Procedures from Technical Support Documents

Abhirut Gupta, Abhay Khosla외 2명|arXiv (Cornell University)|2018. 05. 24.

Business Process Modeling and Analysis참고 문헌 5인용 수 4

한 줄 요약

이 논문은 자연어 처리(NLP)와 기계학습을 활용해 비정형 기술 지원 문서에서 구조화된 장애 진단 절차를 추출하는 시스템을 제시한다. 절차를 식별하고, 결정 포인트 및 관련 지침 블록을 추출하며, 조건부 논리를 매핑함으로써 텍스트 유사도 임계값을 활용해 조건 매핑 정확도가 85%에 이르는 실행 가능한 워크플로우로 자연어 가이드를 변환함으로써 스마트 챗봇과 RPA 등의 응용 프로그램을 가능하게 한다.

ABSTRACT

Guided troubleshooting is an inherent task in the domain of technical support services. When a customer experiences an issue with the functioning of a technical service or a product, an expert user helps guide the customer through a set of steps comprising a troubleshooting procedure. The objective is to identify the source of the problem through a set of diagnostic steps and observations, and arrive at a resolution. Procedures containing these set of diagnostic steps and observations in response to different problems are common artifacts in the body of technical support documentation. The ability to use machine learning and linguistics to understand and leverage these procedures for applications like intelligent chatbots or robotic process automation, is crucial. Existing research on question answering or intelligent chatbots does not look within procedures or deep-understand them. In this paper, we outline a system for mining procedures from technical support documents. We create models for solving important subproblems like extraction of procedures, identifying decision points within procedures, identifying blocks of instructions corresponding to these decision points and mapping instructions within a decision block. We also release a dataset containing our manual annotations on publicly available support documents, to promote further research on the problem.

연구 동기 및 목표

• 기술 지원 문서에서 절차에 대한 깊은 이해가 부족한 문제를 해결하기 위해, 장애 진단에 필수적이지만 NLP 시스템에서 여전히 미사용되는 내용을 다루기 위해.
• 비정형 자연어 문서에서 실행 가능한 구조화된 절차—결정 포인트 및 지침 블록 포함—를 추출하기 위해.
• 자유형 텍스트 절차를 기계가 이해할 수 있는 워크플로우로 변환함으로써 스마트 챗봇과 로봇 프로세스 자동화(RPA) 등의 후행 응용 프로그램을 가능하게 하기 위해.
• 향후 연구를 지원하기 위해 수작업으로 주석 처리된 데이터셋을 공개하기 위해.

제안 방법

• 목록 구조(예: 번호가 매겨진 단계)와 같은 특징을 사용한 베이스라인 모델을 활용해 기술 지원 문서에서 절차를 식별하고 추출한다.
• 목록 특징이 없는 경우에도 절차 경계 식별 성능을 향상시키기 위해 명령형 동사 탐지를 적용한다.
• 조건문(예: '만약', '아니면')을 탐지해 결정 포인트를 식별하고, 텍스트 유사도(임계값 70%)를 사용해 지침을 '참' 또는 '거짓' 분기로 매핑한다.
• 문장 수준의 구조와 조건부 논리를 활용해 규칙 기반 히우리스틱과 단순 베이스라인을 결합해 결정 블록을 추출한다.
• 추출한 절차를 지식 그래프에 통합해 생산용 챗봇(DESIRE)에 통합함으로써 조건부 질문을 포함한 단계별 안내 기능을 제공한다.
• 예: 'X가 있습니까?'와 같은 템플릿 기반 질문 생성을 통해 사용자에게 결정 포인트를 제시하고, 否정 탐지를 통한 응답 라우팅을 수행한다.

실험 결과

연구 질문

• RQ1 비정형 기술 지원 문서에서 어떻게 자동으로 구조화된 장애 진단 절차를 추출할 수 있는가?
• RQ2 목록 구조, 명령형 동사 등 어떤 특징가 절차 경계 식별에 가장 효과적인가?
• RQ3 텍스트 유사도를 사용해 절차 내 조건부 논리를 '참' 또는 '거짓' 분기로 얼마나 정확하게 매핑할 수 있는가?
• RQ4 추출한 절차는 스마트 챗봇 또는 RPA 시스템의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 희소한 훈련 데이터 상황에서 지침을 올바른 실행 경로로 매핑하는 데 있어 여전히 어떤 과제가 남아 있는가?

주요 결과

• 분석된 IBM 기술 지원 문서의 약 58%가 최소한 하나의 절차를 포함하고 있어, 이 내용 유형의 보편성을 확인한다.
• 텍스트 유사도 임계값 70% 이상을 사용할 경우, 시스템은 결정 블록 내 지침의 85%를 올바른 분기(참 또는 거짓)로 정확하게 매핑한다.
• 명령형 동사 탐지 기법은 목록 구조 특징이 없는 경우에도 절차 추출 성능을 향상시킨다.
• 시스템은 DESIRE 챗봇과 성공적으로 통합되어 조건부 인식이 가능한 단계별 대화 흐름을 통해 안내 가능한 장애 진단 기능을 제공한다.
• 다소 유망한 결과에도 불구하고, 결정 블록 내 지침 매핑은 제한된 주석 데이터로 인해 여전히 도전 과제로 남아 있으며, 더 광범위한 데이터셋이 필요함을 시사한다.
• 저자들은 향후 기술 문서에서 절차 추출 연구를 지원하기 위해 주석 처리된 데이터셋을 공개할 계획이다.