[논문 리뷰] dFlow: A Domain Specific Language for the Rapid Development of open-source Virtual Assistants

Nikolaos Malamas, Konstantinos Panayiotou외 1명|arXiv (Cornell University)|2023. 10. 03.

AI in Service Interactions인용 수 5

한 줄 요약

dFlow는 프레임워크에 종속되지 않고 텍스트 기반의 접근 방식을 통해 오픈소스 가상 비서(VA)의 저코드 개발을 가능하게 하는 도메인 특화 언어(DSL)이다. 시스템에 종속되지 않는 메타모델 기반으로 구축되었으며, 디스코드 기반의 클라우드 네이티브 아키텍처와 통합되어 있어, NLP 전문 지식이 거의 없는 개발자들도 Rasa를 사용해 작업 중심의 VA를 빠르게 설계하고 테스트하며 배포할 수 있다. 대규모 평가에서 초보자 개발자들 사이에서 높은 사용성과 효율성을 입증하였다.

ABSTRACT

An increasing number of models and frameworks for Virtual Assistant (VA) development exist nowadays, following the progress in the Natural Language Processing (NLP) and Natural Language Understanding (NLU) fields. Regardless of their performance, popularity, and ease of use, these frameworks require at least basic expertise in NLP and software engineering, even for simple and repetitive processes, limiting their use only to the domain and programming experts. However, since the current state of practice of VA development is a straightforward process, Model-Driven Engineering approaches can be utilized to achieve automation and rapid development in a more convenient manner. To this end, we present extit{dFlow}, a textual Domain-Specific Language (DSL) that offers a simplified, reusable, and framework-agnostic language for creating task-specific VAs in a low-code manner. We describe a system-agnostic VA meta-model, the developed grammar, and all essential processes for developing and deploying smart VAs. For further convenience, we create a cloud-native architecture and expose it through the Discord platform. We conducted a large-scale empirical evaluation with more than 200 junior software developers and collected positive feedback, indicating that dFlow can accelerate the entire VA development process, while also enabling citizen and software developers with minimum experience to participate.

연구 동기 및 목표

• 복잡한 NLP 및 소프트웨어 공학 요구사항으로 인해 가상 비서(VA) 개발에 진입장벽이 높다는 문제를 해결하기 위해.
• 도메인 지식이 거의 없는 시민 개발자나 초보자 프로그래머가 NLP나 소프트웨어 공학에 깊은 전문 지식 없이 작업 중심의 VA를 만들 수 있도록 하기 위해.
• 공급업체나 프레임워크에 종속되지 않는 솔루션을 제공하여 락인을 방지하고, 끊임없이 변화하는 오픈소스 NLP 프레임워크들 간의 확장성과 호환성을 보장하기 위해.
• 텍스트 기반 DSL과 자동화된 배포 파이프라인을 활용한 모델 기반 엔지니어링(MDE)을 통해 VA 개발 속도를 가속화하기 위해.
• 비전문가 참가자를 대상으로 실제 환경에서 dFlow DSL의 사용성과 효과성을 평가하기 위해.

제안 방법

• 기본 프레임워크에 종속되지 않는 핵심 VA 구성 요소를 추상화하는 시스템에 종속되지 않는 가상 비서 메타모델 설계.
• 의도(intent), 엔터티(entity), 학습 예제, 대화 흐름을 인간이 이해할 수 있고 재사용 가능한 형식으로 지정하기 위한 텍스트 기반 DSL 문법 정의.
• 오픈소스 Rasa 프레임워크를 사용해 dFlow 모델을 Rasa 호환 설정으로 변환하는 생성기 컴포넌트 구현.
• 디스코드 플랫폼을 통해 자동 모델 생성 및 배포 기능을 제공하는 클라우드 네이티브 아키텍처로 dFlow 시스템을 설계하고 배포.
• 모델 검증, 테스트, 배포를 포함한 종단 간 프로세스 통합을 통해 원활한 개발 워크플로우 지원.
• 메타모델, DSL 문법, 코드 생성기 간에 분리되고 조합 가능한 모델 기반 엔지니어링(MDE) 파이프라인 채택.

실험 결과

연구 질문

• RQ1 RQ1: 비전문가 개발자들이 작업 중심의 가상 비서를 개발할 때 텍스트 기반 DSL이 개발 노력과 학습 곡선을 크게 줄일 수 있는가?
• RQ2 RQ2: dFlow DSL이 프레임워크 및 시스템에 종속되지 않아, 향후 다른 NLP 프레임워크나 배포 환경으로의 확장성이 얼마나 높은가?
• RQ3 RQ3: NLP나 프로그래밍 지식이 거의 없는 시민 개발자들이 dFlow를 통해 성공적으로 기능하는 VA를 설계하고 배포할 수 있었는가?
• RQ4 RQ4: 기존 VA 개발 워크플로우 대비 dFlow의 사용성과 생산성 향상 정도는 어떠한가?
• RQ5 RQ5: dFlow가 다단계 대화, 조건부 논리, 외부 서비스 통합과 같은 고급 기능을 지원하도록 확장 가능한가?

주요 결과

• 219명의 참가자 중 거의 전원이 기본 프로그래밍 기술과 NLP 또는 VA 개발에 대한 최소한의 도메인 지식만으로도 dFlow를 사용해 성공적으로 가상 비서를 설계하고 배포했다.
• 참가자들은 dFlow가 배우기 쉽고 직관적이며, 언어를 이해하거나 적용하는 데 큰 어려움을 겪지 않았다고 보고하여 진입 장벽이 낮음을 확인했다.
• dFlow DSL은 실질적으로 높은 사용성을 입증하여, NLP나 소프트웨어 공학에 깊은 전문 지식이 없이도 빠르게 VA를 개발하고 배포할 수 있도록 했다.
• dFlow 메타모델의 프레임워크에 종속되지 않는 설계 덕분에 장기적인 유지보수성이 보장되며, 새로운 Rasa 버전이나 대체 프레임워크는 업데이트된 생성기만으로도 핵심 DSL이나 메타모델을 수정하지 않고도 지원 가능하다.
• 디스코드 기반의 클라우드 네이티브 아키텍처 덕분에 실시간으로 테스트 및 배포가 원활하게 이루어져 개발 경험을 향상시키고 설정 오버헤드를 줄였다.
• 본 연구는 dFlow가 수동 코딩과 도메인 특화 기술적 요구사항을 효과적으로 줄여주어, 더 넓은 범위의 시민 개발자들이 VA 개발에 참여할 수 있도록 한다는 점을 확인했다.