[논문 리뷰] Iris: A Conversational Agent for Complex Tasks

Ethan Fast, Binbin Chen외 3명|arXiv (Cornell University)|2017. 07. 17.

Data Stream Mining Techniques참고 문헌 38인용 수 14

한 줄 요약

Iris는 도메인 특화 언어와 대화형 유형 체계를 통해 간단한 자연어 명령을 조합하여 복잡한 데이터 과학 작업을 수행할 수 있는 대화형 에이전트입니다. 비대화형 프로그래밍 환경과 비교해 예측 모델링 작업에서 2.6배 빠른 성능을 달성하며, 사용자 중심의 목표 지향 워크플로우를 위한 동적 명령 조합을 입증합니다.

ABSTRACT

Today's conversational agents are restricted to simple standalone commands. In this paper, we present Iris, an agent that draws on human conversational strategies to combine commands, allowing it to perform more complex tasks that it has not been explicitly designed to support: for example, composing one command to "plot a histogram" with another to first "log-transform the data". To enable this complexity, we introduce a domain specific language that transforms commands into automata that Iris can compose, sequence, and execute dynamically by interacting with a user through natural language, as well as a conversational type system that manages what kinds of commands can be combined. We have designed Iris to help users with data science tasks, a domain that requires support for command combination. In evaluation, we find that data scientists complete a predictive modeling task significantly faster (2.6 times speedup) with Iris than a modern non-conversational programming environment. Iris supports the same kinds of commands as today's agents, but empowers users to weave together these commands to accomplish complex goals.

연구 동기 및 목표

• 현재 대화형 에이전트가 단순하고 독립적인 명령어만 처리하는 데서 비롯하는 한계를 해결하기 위해.
• 사용자가 기본 명령어를 자연어 상호작용을 통해 복합적인 다단계 데이터 과학 워크플로우로 조합할 수 있도록 하기 위해.
• 사용자 의도와 대화적 맥락에 기반해 명령어를 동적으로 조합하고 순서를 정렬하는 시스템을 설계하기 위해.
• 명시적인 프로그래밍 없이도 로그 변환 후 히스토GRAM을 그려내는 것과 같은 복잡한 데이터 과학 작업을 지원하기 위해.
• 대화형 명령 조합이 실제 데이터 과학 워크플로우에서 작업 완료 속도와 사용성에 미치는 영향을 평가하기 위해.

제안 방법

• Iris는 자연어 명령어를 프로그래밍 실행을 위한 유한 상태 기계로 변환하기 위해 도메인 특화 언어(DSL)를 사용합니다.
• 시스템은 명령어 조합의 호환성과 타당성을 검증하고 관리하기 위해 대화형 유형 체계를 활용합니다. 이는 의미적 정합성을 보장합니다.
• 사용자 상호작용을 반복적으로 통해 명령어를 동적으로 조합하고 순서를 정합니다. 이로써 사용자는 단계별로 복잡한 워크플로우를 구축할 수 있습니다.
• 에이전트는 독립 명령어와 복합 워크플로우를 모두 지원하여 데이터 변환 및 시각화와 같은 작업 체인을 가능하게 합니다.
• 자연어 이해 기술과 실행 가능한 프로그램 표현 방식을 통합하여, 민첩하고 상호작용 가능한 작업 실행을 지원합니다.
• 평가에서는 비대화형 프로그래밍 환경과 비교해 실제 예측 모델링 작업의 작업 완료 시간을 측정합니다.

실험 결과

연구 질문

• RQ1 대화형 에이전트가 다수의 단순 명령어를 복합적인 다단계 데이터 과학 워크플로우로 효과적으로 조합할 수 있는가?
• RQ2 자연어 상호작용을 통한 명령어 조합이 데이터 과학 작업의 완료 속도에 어떤 영향을 미치는가?
• RQ3 다양한 명령어를 대화 환경에서 조합할 때 의미적 일관성을 유지하기 위해 필요한 메커니즘은 무엇인가?
• RQ4 사용자가 코드를 작성하지 않고 자연어와 명령어 조합만으로 복잡한 데이터 과학 목표를 얼마나 잘 달성할 수 있는가?
• RQ5 동적 명령어 조합 기능을 갖춘 대화형 에이전트의 성능은 전통적인 비대화형 프로그래밍 환경과 비교해 어떻게 다른가?

주요 결과

• Iris는 현대적인 비대화형 프로그래밍 환경과 비교해 예측 모델링 작업을 2.6배 더 빠르게 완료할 수 있도록 합니다.
• 시스템은 로그 변환 후 히스토GRAM을 그리는 것과 같은 명령어 조합을 성공적으로 지원하여 동적 워크플로우 생성 능력을 입증합니다.
• 대화형 유형 체계는 잘못된 명령어 조합을 효과적으로 방지하여 상호작용 중 의미적 정합성을 유지합니다.
• 사용자는 코드를 작성하지 않고도 자연어를 통해 복잡한 데이터 과학 목표를 표현할 수 있었으며, 명령어 조합에 의존했습니다.
• 도메인 특화 언어와 기계 기반 실행 모델은 대화 환경 내에서 신뢰성 있고 확장 가능한 명령어 실행을 가능하게 합니다.
• 결과적으로 대화형 에이전트가 민첩하고 목표 중심의 명령어 조합을 지원함으로써 데이터 과학 분야의 생산성을 크게 향상시킬 수 있음을 시사합니다.