[논문 리뷰] Multipurpose Intelligent Process Automation via Conversational Assistant

Alena Moiseeva, Dietrich Trautmann외 2명|arXiv (Cornell University)|2020. 01. 07.

Topic Modeling참고 문헌 10인용 수 5

한 줄 요약

이 논문은 최소한의 초기 훈련 데이터를 바탕으로 산업용 e-학습 환경에서 지능형 프로세스 자동화(IPA)를 위한 다기능 대화 보조 시스템을 제안한다. 사용자 상호작용을 활용해 구조화되고 부분적으로 레이블이 붙은 대화 데이터를 자동으로 수집함으로써, NLU 구성 요소에 대한 전이 학습을 가능하게 하여, 제한된 감독 하에 우수한 성능을 달성함으로써 수동 작업을 줄이고 확장 가능하며 유연한 자동화를 실현한다.

ABSTRACT

Intelligent Process Automation (IPA) is an emerging technology with a primary goal to assist the knowledge worker by taking care of repetitive, routine and low-cognitive tasks. Conversational agents that can interact with users in a natural language are potential application for IPA systems. Such intelligent agents can assist the user by answering specific questions and executing routine tasks that are ordinarily performed in a natural language (i.e., customer support). In this work, we tackle a challenge of implementing an IPA conversational assistant in a real-world industrial setting with a lack of structured training data. Our proposed system brings two significant benefits: First, it reduces repetitive and time-consuming activities and, therefore, allows workers to focus on more intelligent processes. Second, by interacting with users, it augments the resources with structured and to some extent labeled training data. We showcase the usage of the latter by re-implementing several components of our system with Transfer Learning (TL) methods.

연구 동기 및 목표

• 초기 구조화된 훈련 데이터가 없는 실생활 산업 환경에서 IPA를 위한 대화 시스템을 구현하는 데 도전한다.
• e-학습 플랫폼에서 학생의 일상적인 문의를 자동화하여 인간 튜터의 반복적이고 시간 소모적인 작업을 줄인다.
• 기존 워크플로우를 변경하거나 수동 레이블링이 필요 없이 사용자 상호작용을 통해 수동적으로 구조화되고 부분적으로 레이블이 붙은 대화 데이터를 수집한다.
• 전이 학습을 통해 수집된 소규모 대화 데이터에 대해 사전 훈련된 모델을 미세조정하여 NLU 구성 요소의 가능성을 입증한다.
• 규칙 기반 및 학습 가능한 구성 요소를 조합한 하이브리드 시스템을 통해 생산 환경에서의 내구성과 적응성을 향상시킨다.

제안 방법

• OMB+ e-학습 플랫폼에서 학생의 일상적인 문의를 처리하기 위해 규칙 기반 대화 시스템을 초기 IPA 보조 시스템으로 구현한다.
• 시스템의 상호작용 로그를 활용해 사용자 질의 및 응답을 추출하고, 최소한의 인간 간섭으로 구조화된 대화 데이터셋을 생성한다.
• 수집된 부분적으로 레이블이 붙은 대화 데이터에 대해 전이 학습 기법을 적용하여 핵심 NLU 구성 요소인 다음 동작 예측 및 명명된 실체 인식을 재훈련한다.
• 소규모이고 도메인 특화된 대화 데이터에 대해 사전 훈련된 NLP 모델(예: BERT 기반 아키텍처)을 미세조정하여 일반화 능력과 성능을 향상시킨다.
• 규칙 기반 및 학습 가능한 모듈이 동시에 작동하고 예측 실패 시 대체 기능을 제공하는 하이브리드 아키텍처에 훈련된 구성 요소를 통합한다.
• 기존 기업 도구 및 플랫폼의 기존 채팅 인터페이스와의 호환성을 확보하여 원활한 배포 및 사용자 상호작용을 보장한다.

실험 결과

연구 질문

• RQ1 구조화된 훈련 데이터가 배포 시점에 전혀 없을 경우, 실생활 산업 환경에서 IPA를 위한 대화 보조 시스템을 효과적으로 구현할 수 있는가?
• RQ2 사용자 상호작용을 얼마나 효과적으로 활용하여 대화 시스템의 구조화되고 부분적으로 레이블이 붙은 훈련 데이터를 자동으로 생성할 수 있는가?
• RQ3 실제 사용자 상호작용에서 수집된 소규모 도메인 특화 대화 데이터셋에서 전이 학습 방법이 얼마나 잘 작동하는가?
• RQ4 학습 가능한 NLU 구성 요소(예: 의도 분류, 명명된 실체 인식)가 내구성과 적응성 측면에서 규칙 기반 시스템보다 우월하거나 보완할 수 있는가?
• RQ5 규칙 기반 및 학습 가능한 구성 요소를 조합한 하이브리드 모델이 생산 환경에서의 시스템 신뢰성을 향상시키는 데 얼마나 잠재력이 있는가?

주요 결과

• 시스템은 인간 튜터의 반복적이고 시간 소모적인 작업을 줄여주었으며, 이로 인해 더 복잡하고 수학적으로 도전적인 학생의 질문에 집중할 수 있게 되었다.
• 사용자 상호작용을 통해 수동 레이블링이나 대화 흐름의 변경 없이도 구조화되고 부분적으로 레이블이 붙은 대화 데이터를 자동으로 생성하였다.
• 전이 학습을 통해 수집된 소규모 대화 데이터셋에서 NLU 구성 요소인 다음 동작 예측 및 명명된 실체 인식을 효과적으로 미세조정하였으며, 합리적인 성능을 달성하였다.
• 다시 구현된 학습 가능한 구성 요소는 규칙 기반 모듈보다 더 우수한 일반화 능력을 보였으며, 예상치 못한 대화 패턴 하에서 잘못된 예측를 줄일 잠재력을 보였다.
• 규칙 기반 및 학습 가능한 구성 요소를 조합한 하이브리드 모델은 예측 실패 시 대체 기능을 제공함으로써 시스템의 내구성을 향상시켰다.
• 이러한 접근 방식은 심지어 제한된 양의 수집된 대화 데이터만으로도 IPA 응용 프로그램을 위한 효과적이고 확장 가능한 NLU 구성 요소를 훈련시킬 수 있음을 입증하였다.