[논문 리뷰] Towards Ecologically Valid Research on Language User Interfaces

Harm de Vries, Dzmitry Bahdanau외 1명|arXiv (Cornell University)|2020. 07. 28.

Topic Modeling참고 문헌 46인용 수 42

한 줄 요약

이 논문은 많은 LUI 벤치마크가 생태학적 타당성을 결여하고 있으며, 생태학적으로 타당한 연구 방법론을 제시하고, 다섯 가지 일반적 편차와 현실성 및 적용 가능성을 개선하기 위한 권고를 자세히 설명한다.

ABSTRACT

Language User Interfaces (LUIs) could improve human-machine interaction for a wide variety of tasks, such as playing music, getting insights from databases, or instructing domestic robots. In contrast to traditional hand-crafted approaches, recent work attempts to build LUIs in a data-driven way using modern deep learning methods. To satisfy the data needs of such learning algorithms, researchers have constructed benchmarks that emphasize the quantity of collected data at the cost of its naturalness and relevance to real-world LUI use cases. As a consequence, research findings on such benchmarks might not be relevant for developing practical LUIs. The goal of this paper is to bootstrap the discussion around this issue, which we refer to as the benchmarks' low ecological validity. To this end, we describe what we deem an ideal methodology for machine learning research on LUIs and categorize five common ways in which recent benchmarks deviate from it. We give concrete examples of the five kinds of deviations and their consequences. Lastly, we offer a number of recommendations as to how to increase the ecological validity of machine learning research on LUIs.

연구 동기 및 목표

• LUI가 이점이 있고 대안보다 더 사용하기 쉬울 수 있는 인구 집단과 과제를 식별한다.
• Wizard-of-Oz 시뮬레이션을 사용한 생태학적으로 타당한 데이터 수집 및 평가 프로세스를 옹호한다.
• 현실적이고 인간-루프(human-in-the-loop) 설정에서 LUI를 학습하고 평가하는 구체적인 방법론을 제안한다.
• 생태학적 타당성을 감소시키는 일반적 편차를 강조하고 해결책과 지침을 제시한다.

제안 방법

• 인구 식별, WoZ 데이터 수집, 모델 학습, 인간-루프 평가를 포함하는 이상적이고 생태학적으로 타당한 LUI 연구 절차를 정의한다.
• 전체 시스템 학습 전에 배포 조건을 반영하는 데이터를 수집하기 위해 Wizard-of-Oz 시뮬레이션을 사용한다.
• 훈련된 모델을 기존 인터페이스나 대체 수단과 비교하여 사용자의 만족도와 생산성을 평가한다.
• 실제 사례를 들어 생태학적 타당성의 편차를 설명하기 위해 기존 벤치마크를 검토한다.
• 데이터 수집, 모델 평가, 과제 설계 중 생태학적 타당성을 향상시키기 위한 실용적인 단계들을 권고한다.

실험 결과

연구 질문

• RQ1 생태학적으로 타당한 LUI 연구의 구성 요소는 무엇이며 그것을 어떻게 운영화될 수 있는가?
• RQ2 LUI 벤치마크에서 생태학적 타당성을 저하시키는 일반적인 편차는 무엇이며 그 결과는 무엇인가?
• RQ3 연구자들이 실제 세계의 LUI 활용 사례에 일반화될 수 있도록 벤치마크와 평가 절차를 어떻게 설계할 수 있는가?
• RQ4 현재 및 미래의 LUI 연구에서 생태학적 타당성을 향상시킬 수 있는 권고사항은 무엇인가?
• RQ5 LUI의 배포 시나리오에 데이터 수집, 모델링, 평가를 어떻게 정렬해야 하는가?

주요 결과

• 생태학적 타당성을 감소시키는 다섯 가지 일반적 편차: 합성 언어, 인위적 과제, 잠재적 사용자와의 협업 미실시, 스크립트/프라이밍, 단일 턴 인터페이스.
• Wizard-of-Oz 데이터 수집은 배포를 근사하고 생태학적으로 타당한 학습 데이터를 가능하게 한다.
• 생태학적으로 타당한 평가는 상호 작용 역학과 오류에서의 회복을 포착하기 위해 인간-루프 평가를 필요로 한다.
• 많은 벤치마크가 대상 사용자나 실제 과제를 반영하지 않는 데이터나 프롬프트에 의존하여 실용적 LUI로의 전이를 제한한다.
• 권고 사항에는 실제 인구 집단과 과제를 중심으로 과제와 데이터 세트를 설계하고, 적절할 때 더 작은 데이터로 생태학적으로 타당한 평가를 사용하는 것이 포함된다.