[논문 리뷰] Chat2Code: Towards conversational concrete syntax for model specification and code generation, the case of smart contracts

Ilham Qasse, Shailesh Mishra외 1명|arXiv (Cornell University)|2021. 12. 21.

Multi-Agent Systems and Negotiation인용 수 6

한 줄 요약

이 논문은 자연어 상호작용을 통해 비기술자 사용자가 스마트 계약 코드를 생성할 수 있도록 하는 모델 기반 엔지니어링(MDE)을 위한 대화형 인터페이스인 Chat2Code를 제안한다. 이 접근법은 자연어 처리를 활용하여 사용자 입력을 해석하고, 다양한 용어를 형식적 모델 요소로 매핑하며, 플랫폼에 종속되지 않는 스마트 계약 코드를 자동 생성한다. 사용자 경험 설문 조사 결과, 참가자의 79%가 평균 이상의 만족도를 보고하였다.

ABSTRACT

The revolutionary potential of automatic code generation tools based on Model-Driven Engineering (MDE) frameworks has yet to be realized. Beyond their ability to help software professionals write more accurate, reusable code, they could make programming accessible for a whole new class of non-technical users. However, non-technical users have been slow to embrace these tools. This may be because their concrete syntax is often patterned after the operations of textual or graphical interfaces. The interfaces are common, but users would need more extensive, precise and detailed knowledge of them than they can be assumed to have, to use them as concrete syntax. Conversational interfaces (chatbots) offer a much more accessible way for non-technical users to generate code. In this paper, we discuss the basic challenge of integrating conversational agents within Model-Driven Engineering (MDE) frameworks, then turn to look at a specific application: the auto-generation of smart contract code in multiple languages by non-technical users, based on conversational syntax. We demonstrate how this can be done, and evaluate our approach by conducting user experience survey to assess the usability and functionality of the chatbot framework.

연구 동기 및 목표

• 기존의 텍스트 기반 또는 그래픽 기반 인터페이스를 대체하여 대화형 챗봇을 구체적 문법으로 도입함으로써 MDE 도구의 사용성 격차를 해소하고자 한다.
• 비기술자 사용자가 자연어 상호작용을 통해 도메인 모델을 기술하고 정확하며 재사용 가능한 스마트 계약 코드를 생성할 수 있도록 하고자 한다.
• 형식적 모델링 표기법과 도구를 익히는 데 수반되는 학습 곡선과 인지 부담을 줄이고자 한다.
• 실제 개발 환경에서의 대화형 프레임워크의 사용성과 기능을 평가하고자 한다.

제안 방법

• 자연어 입력을 형식적 모델 요소로 매핑하기 위해 자연어 처리와 의도 인식을 활용한 대화형 구체적 문법 계층을 설계한다.
• 스마트 계약을 위한 EMF 기반 메타모델과 통합된 챗봇 프레임워크인 iContractBot을 구현하여 다양한 블록체인 플랫폼에서 코드 생성을 지원한다.
• 대화 관리, 맥락 추적, 모델 사양 중 실시간 피드백을 가능하게 하기 위해 Xatkit 프레임워크를 사용한다.
• 다양한 사용자 용어(예: '정수', '숫자', '실수')를 도메인 모델 내 표준화된 데이터 유형으로 매핑하여 언어적 모호성을 처리한다.
• 사용자 대화를 모델 자산으로 추적하여 검증, 비교 및 피드백 수집을 수행한다.
• 다양한 참가자(비프로그래머 및 프로그래머)를 대상으로 사용자 경험 설문 조사를 실시하여 사용성과 기능을 평가한다.

실험 결과

연구 질문

• RQ1 챗봇은 MDE 프레임워크 내 도메인 특화 모델링을 위한 효과적이고 직관적인 구체적 문법으로 기능할 수 있는가?
• RQ2 챗봇은 비기술자 사용자가 제공하는 모호하거나 비공식적인 자연어 입력을 얼마나 잘 해석하고 수정하여 정확한 모델 인스턴스를 생성할 수 있는가?
• RQ3 기존의 모델링 도구와 비교했을 때 대화형 인터페이스는 사용성과 사용자 만족도를 어느 정도 향상시키는가?
• RQ4 다양한 사용자 용어를 형식적 모델 요소로 매핑하는 방법이 사양 정확성을 유지하는 데 얼마나 효과적인가?
• RQ5 스마트 계약 개발을 위한 대화형 인터페이스 사용 시 주요 사용성 과제와 사용자 선호는 무엇인가?

주요 결과

• 기술적 배경이 서로 다른 참가자 중 79%가 iContractBot 프레임워크를 사용한 전반적인 경험에서 평균 이상의 만족도를 보고하였다.
• 챗봇은 비공식적이거나 모호한 사용자 입력을 성공적으로 해석하고 수정하여 언어적 다양성에도 불구하고 정확한 모델 및 코드 생성을 가능케 하였다.
• 비기술자 사용자들은 기존의 모델링 도구보다 대화형 인터페이스가 훨씬 접근성 있게 느껴졌으며, 공식 교육이 필요로 하는 정도가 감소하였다.
• 프레임워크는 다양한 블록체인 플랫폼에서 대화형 입력을 기반으로 플랫폼에 종속되지 않는 스마트 계약 코드 생성이 가능하다는 점을 입증하였다.
• 사용자 피드백은 하이브리드 대화형-그래픽 인터페이스, 템플릿 계약, 자동 완성 기능에 대한 수요가 높다는 점을 시사하며, 향후 개선 방향을 제시하였다.