[논문 리뷰] Convo: What does conversational programming need? An exploration of machine learning interface design

Jessica Van Brummelen, Kevin Weng외 2명|arXiv (Cornell University)|2020. 03. 03.

Speech and dialogue systems참고 문헌 31인용 수 5

한 줄 요약

이 연구는 'Convo'라는 대화형 프로그래밍 시스템에서 음성, 텍스트, 다중 입력 방식을 평가하여 사용자 경험 수준에 맞춘 유연한 입력 모드를 선호하는 경향을 발견했다. 주요 설계 요구사항으로는 다중 입력 지원, 시각화, 개선된 음성 인식 및 자연어 이해(NLU), 그리고 인지 부하 감소를 통한 프로그래밍 교육의 접근성 향상과 학습 지원을 규명하였다.

ABSTRACT

Vast improvements in natural language understanding and speech recognition have paved the way for conversational interaction with computers. While conversational agents have often been used for short goal-oriented dialog, we know little about agents for developing computer programs. To explore the utility of natural language for programming, we conducted a study ($n$=45) comparing different input methods to a conversational programming system we developed. Participants completed novice and advanced tasks using voice-based, text-based, and voice-or-text-based systems. We found that users appreciated aspects of each system (e.g., voice-input efficiency, text-input precision) and that novice users were more optimistic about programming using voice-input than advanced users. Our results show that future conversational programming tools should be tailored to users' programming experience and allow users to choose their preferred input mode. To reduce cognitive load, future interfaces can incorporate visualizations and possess custom natural language understanding and speech recognition models for programming.

연구 동기 및 목표

• 초보자 및 숙련자 사용자를 대상으로 대화형 프로그래밍에서 음성, 텍스트, 다중 입력 방식의 사용성과 인지 부하를 조사한다.
• 특히 입력 모odal 선호도와 학습 성과 측면에서 대화형 AI를 활용한 프로그래밍에 대한 경험적 연구의 부족을 보완한다.
• 현재 자연어 이해(NLU) 및 자동 음성 인식(ASR) 기술이 시각적 지원 없이도 독립형 대화형 코딩 시스템에 충분한지 평가한다.
• 대화형 프로그래밍이 프로그래밍 교육의 진입 장벽을 낮추고 계산적 사고 능력 발달을 지원하는 방식을 탐색한다.
• 접근성과 사용성 향상을 위한 증거 기반 권고 사항을 제시하여 향후 상호작용 기반 기계 학습 시스템 설계를 지원한다.

제안 방법

• 음성 사용자 인터페이스(VUI), 자연어 이해(NLU), 대화 관리(DM), 프로그래밍 엔진(PE)을 갖춘 대화형 프로그래밍 에이전트인 Convo를 개발하였다.
• 초보자 및 숙련자 프로그래머 45명을 대상으로 음성 전용, 텍스트 전용, 음성 또는 텍스트를 조합한 다중 입력 방식을 사용한 작업 수행을 위한 사용자 연구를 실시하였다.
• 작업 완료 시간, 시스템 재설정 횟수, 발화 길이, 도움 요청 횟수 등의 정량적 자료를 수집하여 인지 부하 지표로 활용하였다.
• 사용성, 만족도, 선호도, 경험에 대한 리커트 척도 및 개방형 질문을 통한 정성적 피드백을 확보하였다.
• 사용자 선호도, 시스템 성능, 설계 과제에 대한 패턴을 규명하기 위해 주제 분석 및 정량적 분석을 수행하였다.
• 제약이 있는지 없는 자연어 입력의 영향과 시각화가 인지 부하 감소에 미치는 역할을 탐색하였다.

실험 결과

연구 질문

• RQ1 다양한 사용자 경험 수준에서 대화형 프로그래밍 도구의 선호 입력 모달은 음성, 텍스트, 다중 입력 중 무엇인가?
• RQ2 다른 입력 모달(음성, 텍스트, 음성 또는 텍스트)은 프로그래밍 작업 중 인지 부하에 어떻게 영향을 미치는가?
• RQ3 초보자와 숙련자 프로그래머는 대화형 프로그래밍 시스템을 사용할 때 선호도와 성능에서 다름이 있는가?
• RQ4 현재 자동 음성 인식(ASR) 및 자연어 이해(NLU) 기술은 시각적 지원 없이도 대화형 코딩에 충분한가?
• RQ5 제약이 없는 자연어 입력이 제약이 있는 자연어 입력보다 대화형 프로그래밍 인터페이스에서 더 효과적이고 사용자 친화적인가?

주요 결과

• 초보자 사용자들은 숙련자 사용자보다 음성 기반 프로그래밍에 더 큰 기대를 보였으며, 이는 음성 입력이 초보자에게 진입 장벽을 낮출 수 있음을 시사한다.
• 음성, 텍스트, 다중 입력 방식 간에 인지 부하 지표(완료 시간, 재설정 횟수, 도움 요청 횟수)에 유의미한 차이가 없었으며, 이는 모든 모드가 작업 효율성 측면에서 타당함을 시사한다.
• 사용자들은 지속적으로 음성 인식 개선과 자연어 입력의 제약 완화를 요청하였으며, 이는 현재의 ASR 및 NLU 기술이 프로그래밍 환경에서의 한계를 드러낸다.
• 사용자들은 음성 전용 시스템을 사용할 때 시각 피드백 부족으로 인해 높은 인지 부하를 경험하였으며, 이는 정신 모델 수립을 지원하기 위해 시각화가 필수적임을 강조한다.
• 사용자들은 더 자연스럽고 제약 없는 언어 입력(예: '아니요', '고마워요')과 즉각적인 시스템 피드백을 강력히 요청하였으며, 이는 상호작용적이고 반응성이 높은 에이전트가 사용자 경험을 향상시킨다는 것을 시사한다.
• 본 연구는 사용자 경험에 맞추어 조정 가능하고 입력 방식 선택이 가능한 다중 입력 지원의 민첩한 대화형 프로그래밍 시스템 설계의 필요성을 뒷받침한다. 이는 분노와 인지 스트레스를 감소시키는 데 기여한다.