[논문 리뷰] Domain Authoring Assistant for Intelligent Virtual Agents

Sepehr Janghorbani, Ashutosh Modi외 2명|arXiv (Cornell University)|2019. 04. 05.

Artificial Intelligence in Games참고 문헌 37인용 수 9

한 줄 요약

이 논문은 창의적 저작자가 자유롭게 기술한 텍스트 기반 설명으로부터 지능형 가상 에이전트(IVAs)의 계획 도메인 모델을 자동으로 생성하는 자연어 기반 저작 보조 도구를 제시한다. 의존성 구문 분석과 워드 임베딩을 활용해 성격, 정서, 행동 기술을 실행 가능한 계획 도메인으로 변환하면서 누락되거나 일관성 없는 정보를 식별하며, 황금 표준 데이터셋에서 상태 및 동작 추출에 대해 86.25%의 정확도를 달성하였다.

ABSTRACT

Developing intelligent virtual characters has attracted a lot of attention in the recent years. The process of creating such characters often involves a team of creative authors who describe different aspects of the characters in natural language, and planning experts that translate this description into a planning domain. This can be quite challenging as the team of creative authors should diligently define every aspect of the character especially if it contains complex human-like behavior. Also a team of engineers has to manually translate the natural language description of a character's personality into the planning domain knowledge. This can be extremely time and resource demanding and can be an obstacle to author's creativity. The goal of this paper is to introduce an authoring assistant tool to automate the process of domain generation from natural language description of virtual characters, thus bridging between the creative authoring team and the planning domain experts. Moreover, the proposed tool also identifies possible missing information in the domain description and iteratively makes suggestions to the author.

연구 동기 및 목표

• 창의적 저작자가 기술한 IVA 성격 및 행동에 대한 자연어 기반 기술을 공식적인 계획 도메인 지식으로 자동 번역함으로써 수동적 엔지니어링에 대한 의존도를 줄이는 것.
• 기술적 계획 지식이 없어도 창의적 저작자가 캐릭터 특성에 대해 자유롭게 기술할 수 있도록 지원하여 저작자의 창의성을 향상시키는 것.
• 도메인 기술서에 누락되거나 일관성 없는 정보가 있는지 식별하고 저작자에게 개선 사항을 반복적으로 제안하는 것.
• 창의적 팀과 계획 도메인 전문가 사이의 격차를 해소하기 위해 자연어로부터 실행 가능한 에이전트 행동을 직접 저작할 수 있도록 하는 것.
• 시스템의 정확도와 사용성을 평가하여 정확한 계획 도메인 생성과 저작 창의성 지원 능력을 검증하는 것.

제안 방법

• 시스템은 자연어 문장에서 성격, 정서, 행동에 대한 서술을 분석하기 위해 의존성 그래프 구문 분석을 사용한다.
• 워드 임베딩을 활용해 상태와 동작를 표현함으로써 자연어와 계획 도메인 요소 간의 의미적 매칭을 가능하게 한다.
• 복잡한 문장을 더 단순하고 분석하기 쉬운 단위로 나누는 문장 간소화 모듈을 통해 구문 분석 정확도를 향상시킨다.
• 반복 검증을 수행하여 부족하거나 일관성 없는 도메인 기술서를 식별하고 수정 사항을 제안한다.
• GUI 기반 인터페이스를 통해 저작자가 기술을 입력하고 실시간으로 생성된 계획 도메인을 확인할 수 있도록 한다.
• 정확도, 재현율, F1 점수 등의 지표를 사용해 황금 표준 데이터셋과 비교하여 출력 결과를 검증한다.

실험 결과

연구 질문

• RQ1 자연어 인터페이스는 창의적 저작자가 기술한 IVA 성격 및 행동 기술을 실행 가능한 계획 도메인으로 정확하게 변환할 수 있는가?
• RQ2 시스템은 도메인 기술서의 누락되거나 일관성 없는 정보를 탐지하고 수정 제안하는 데 얼마나 효과적인가?
• RQ3 자연어를 공식적인 계획 언어(PDDL 등)로 매핑할 때 의미 정확도를 얼마나 잘 유지하는가?
• RQ4 비기술적 창의적 저작자들이 실제 저작 작업에서 이 도구를 얼마나 쉽게 사용할 수 있는가?
• RQ5 시스템은 복잡하거나 추상적인 정서 상태를 포함한 다양한 유형의 IVA 행동에 일반화할 수 있는가?

주요 결과

• 시스템은 황금 표준 데이터셋에서 80개의 기능 전후 조건을 86.25%의 정확도로 식별하여 80개 중 69개를 정확히 탐지하였다.
• 11개의 불일치 중 10개는 잘못된 조건으로 간주되었고, 1개는 조건을 놓쳤으며, 오류는 주로 의미적으로 미세한 상태인 '(Max, has, money)' 및 '(Max, focus, typing)'에서 빈도가 높았다.
• 상태 '(Max, focus, typing)'는 의미적으로 유사한 상태들인 '(Max, focus, play)' 및 '(Max, focus, help_customers)'와 혼동되어, 임베딩 기반 상태 유사도 측정의 과제를 드러냈다.
• 사용자 연구 결과, 참가자 81%가 GUI의 편리함과 사용 용이성을 인지했으며, SUS 점수는 61.2로 중간 수준의 사용성 수준을 나타냈다.
• 시스템은 의도한 모든 상태와 동작를 성공적으로 생성하여, 기술적 전문 지식이 최소한인 실세계 IVA 저작에 대한 가능성을 입증하였다.
• 사용자들은 도구의 개선 제안 및 일관성 오류 탐지 기능을 긍정적으로 평가하여, 반복적이고 창의적인 저작 과정에서의 역할을 뒷받침하는 것으로 나타났다.