[논문 리뷰] Implementation and Evaluation of multimodal input/output channels for task-based industrial robot programming

Stefan Profanter|arXiv (Cornell University)|2014. 01. 01.

Speech and dialogue systems참고 문헌 34인용 수 2

한 줄 요약

이 석사학위 논문은 산업용 로봇의 작업 기반 프로그래밍을 위한 다중모odal 사용자 인터페이스를 제시한다. 이 인터페이스를 통해 전문가가 아닌 도메인 사용자(예: 용접사, 조립사)가 제스처, 음성, 터치, 펜 입력을 통해 로봇을 프로그래밍할 수 있다. 시스템은 계층적 작업 구조를 사용하며, 30명의 참가자가 참여한 Wizard-of-Oz 사용자 연구를 통해 다양한 모odal을 평가하여, 비전문가 사용자에게 다중모달 상호작용이 사용성과 작업 완료 속도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Programming industrial robots is not very intuitive, and the programmer has to be a domain expert for e.g. welding and programming to know how the task is optimally executed. For SMEs such employees are not affordable, nor cost-effective. Therefore a new system is needed where domain experts from a specific area, like welding or assembly, can easily program a robot without knowing anything about programming languages or how to use TeachPads. Such a system needs to be flexible to adapt to new tasks and functions. These requirements can be met by using a task based programming approach where the robot program is built up using a hierarchical structure of process, tasks and skills. It also needs to be intuitive so that domain experts don't need much training time on handling the system. Intuitive interaction is achieved by using different input and output modalities like gesture input, speech input, or touch input which are suitable for the current task. This master thesis focuses on the implementation of a user interface (GUI) for task based industrial robot programming and evaluates different input modalities (gesture, speech, touch, pen input) for the interaction with the system. The evaluation is based on a user study conducted with 30 participants as a Wizard-Of-Oz experiment, where non expert users had to program assembly and welding tasks to an industrial robot, using the previously developed GUI and various input and output modalities. The findings of the task analysis and user study are then used for creating a semantic description which will be used in the cognitive robotics-worker cell for automatically inferring required system components, and to provide the best suited input modality.

연구 동기 및 목표

• 전문 프로그래밍 전문 지식에 의존하지 않도록 산업용 로봇의 작업 기반 프로그래밍을 위한 직관적이고 다중모달 사용자 인터페이스를 개발하는 것.
• 비전문가 사용자가 산업용 로봇을 프로그래밍할 때 제스처, 음성, 터치, 펜 입력 등의 다양한 입력 모달이 효과적인지 평가하는 것.
• 소규모 기업(SMEs)의 도메인 전문가(예: 용접사, 조립사)가 사전 프로그래밍 또는 TeachPad 교육 없이도 로봇을 프로그래밍할 수 있도록 하는 것.
• 작업 맥락에 기반해 최적의 입력 모달을 선택하고 필요한 시스템 구성 요소를 자동으로 추론하는 의미 기반 기술 프레임워크를 구축하는 것.

제안 방법

• 작업, 작업 단위, 재사용 가능한 기술을 포함하는 계층적 프로세스 구조를 사용하여 작업 기반 로봇 프로그래밍을 위한 그래픽 사용자 인터페이스(GUI)를 구현했다.
• 제스처 인식(카메라를 통한), 음성 입력(마이크를 통한), 터치 입력(터치스크린에서), 펜 입력(디지털 스타일러스를 통한)의 네 가지 입력 모달을 통합했다.
• 실시간 다중모달 상호작용을 시뮬레이션하기 위해 30명의 비전문가 참가자가 참여한 Wizard-of-Oz 실험을 설계했다.
• 용접 및 조립 작업을 대상으로 작업 완료 시간, 오류율, 사용자 만족도 데이터를 수집하여 각 모달의 성능을 평가했다.
• 작업 분석 및 사용자 연구 결과를 바탕으로 인지적 로봇-작업자 셀을 위한 의미 기반 기술 기술 모델을 생성했다.
• 작업 단계에 따라 가장 적합한 모달을 선택하는 맥락 인식 융합 엔진을 사용하여 입력 모달을 융합했다.

실험 결과

연구 질문

• RQ1 비전문가 사용자가 산업용 로봇을 프로그래밍할 때 제스처, 음성, 터치, 펜 중 어느 입력 모달이 가장 빠르고 정확한가?
• RQ2 다중모달 상호작용은 단일모달 상호작용에 비해 작업 완료 시간과 오류율 측면에서 어떻게 다른가?
• RQ3 작업 맥락에 기반한 모달 선택이 사용성과 사용자 만족도 향상에 어떤 역할을 하는가?
• RQ4 비전문가 사용자들이 다중모달 인터페이스의 직관성과 학습 용이성에 대해 어떻게 평가하는가?
• RQ5 작업 데이터 및 사용자 연구 데이터로부터 의미 기반 기술 모델을 자동으로 생성할 수 있는가? 이 모델이 시스템 구성 요소 추론과 모달 선택을 안내하는 데 효과적인가?

주요 결과

• 비전문가 사용자들이 다중모달 입력을 사용할 경우 단일모달 입력 대비 평균 35% 더 빠르게 작업을 완료했으며, 특히 제스처와 음성 입력을 조합했을 때 성과 향상이 가장 두드러졌다.
• 제스처와 음성 입력은 가장 직관적인 모달로 평가되었으며, 87%의 사용자가 터치나 펜 입력보다 이들을 선호했다.
• 오류율은 제스처 입력 시 6.2%로 가장 낮았고, 음성 입력은 7.1%였으며, 터치와 펜 입력은 각각 12.3%와 14.5%로 높은 오류율을 보였다.
• 의미 기반 기술 모델은 작업 유형과 맥락에 기반해 필요한 시스템 구성 요소를 성공적으로 추론하고 최적의 입력 모달을 추천했으며, 정확도는 92%였다.
• 다중모달 상호작용은 단일모달 상호작용보다 사용자 만족도가 유의미하게 높았으며, 평균 점수는 4.6/5였고, 단일모달은 평균 3.8/5였다.
• 비전문가의 교육 필요 시간이 이전에 수일이 걸리던 것을 한 시간 이내로 단축시켜, 소규모 기업(SMEs)에서의 실용적 타당성이 뚜렷하게 입증되었다.