[논문 리뷰] User Experience of the CoSTAR System for Instruction of Collaborative Robots

Chris Paxton, Felix Jonathan외 3명|arXiv (Cornell University)|2017. 03. 23.

Robot Manipulation and Learning참고 문헌 18인용 수 8

한 줄 요약

이 논문은 시각적 프로그래밍 인터페이스인 Behavior Tree 기반 CoSTAR 시스템을 평가한다. 이 시스템은 인식, 계획, 추론을 통합하여 초보자 사용자가 공동 작업 로봇을 위한 작업 계획을 작성할 수 있도록 한다. 결과적으로 스마트모드(SmartMove)와 같은 고급 기능이 제공될 경우 사용자는 더 빠르고 효과적이며 일반화 가능한 계획을 수립했지만, 정신 모델 불일치와 혼란스러운 UI 요소로 인해 사용성 문제는 여전히 존재했다.

ABSTRACT

How can we enable novice users to create effective task plans for collaborative robots? Must there be a tradeoff between generalizability and ease of use? To answer these questions, we conducted a user study with the CoSTAR system, which integrates perception and reasoning into a Behavior Tree-based task plan editor. In our study, we ask novice users to perform simple pick-and-place assembly tasks under varying perception and planning capabilities. Our study shows that users found Behavior Trees to be an effective way of specifying task plans. Furthermore, users were also able to more quickly, effectively, and generally author task plans with the addition of CoSTAR's planning, perception, and reasoning capabilities. Despite these improvements, concepts associated with these capabilities were rated by users as less usable, and our results suggest a direction for further refinement.

연구 동기 및 목표

• 초보자 사용자가 CoSTAR 시스템의 통합된 인식, 계획, 추론 기능을 통해 로봇 작업 계획을 효과적으로 작성할 수 있는지 평가하는 것.
• 비전문가 사용자가 공동 작업 로봇 분야에서 Behavior Tree를 인터페이스로 사용할 때의 사용성과 효과성에 대해 조사하는 것.
• 정신 모델 일치 및 인터페이스 명확성과 관련된 사용자 인터페이스에서의 사용성 장벽을 특정하는 것.
• 시스템 기능 수준에 따라 사용자 경험을 분석함으로써 향후 사용자 友好的 로봇 프로그래밍 시스템 설계에 정보를 제공하는 것.

제안 방법

• CoSTAR 시스템은 로봇 작업 계획을 지정하기 위한 시각적 프로그래밍 인터페이스로 Behavior Tree를 사용하며, 원자적 및 복합 작업의 계층적 조합을 가능하게 한다.
• 시스템은 RGBD 센서를 통한 인식, 운동 계획, 그리고 SmartMove 쿼리를 통한 추상적 추론을 통합하여 세계 상태에 기반한 조건부 작업 실행을 가능하게 한다.
• 피험자 간 설계의 사용자 연구에서 네 가지 조건을 비교했다: 베이스라인(계획/인식 없음), 플래닝(장애물 회피), 인식(감지 전용), 스마트모드(전체 통합).
• 참가자들은 각 조건에서 단순한 피킹 및 플레이스 어셈블리 작업을 수행하였으며, 작업 성공률, 소요 시간, 계획 복잡도를 측정하였다.
• 초기 연구 피드백에 기반해 UI 요소를 반복적으로 개선하였으며, 예를 들어 'Reference'를 'in coordinate frame'으로 이름을 변경하여 명확성을 향상시켰다.
• 사용자 성능 지표, 작업 후 설문조사, 반구조화된 인터뷰를 통해 데이터를 수집하여 사용성, 정신 모델 정확도, 사용자 만족도를 평가하였다.

실험 결과

연구 질문

• RQ1 Behavior Tree 인터페이스는 초보자 사용자가 공동 작업 로봇을 위한 작업 계획을 작성하는 데 얼마나 효과적인가?
• RQ2 CoSTAR의 인식, 계획, 추론 기능은 작업 완료 시간, 성공률, 계획 일반화 능력에 어떤 영향을 미치는가?
• RQ3 초보자 사용자가 고급 로봇 프로그래밍 인터페이스를 사용할 때 정신 모델 일치 문제로 인해 겪는 주요 사용성 장애는 무엇인가?
• RQ4 인터페이스 설계 선택 사항(예: SmartMove 쿼리 구조)은 사용자 이해도와 작업 성과에 얼마나 영향을 미치는가?

주요 결과

• 초보자 사용자들은 Behavior Tree가 로봇 작업 계획을 지정하는 데 효과적이고 실용적인 방법이라고 평가했으며, 핵심 인터페이스에 대해 높은 사용성 평가를 하였다.
• 인식, 계획, 스마트모드 기능이 추가될 경우, 기준 조건 대비 작업 완료 속도, 성공률, 계획 일반화 능력이 뚜렷이 향상되었다.
• 전반적인 향상에도 불구하고, 사용자들은 스마트모드 쿼리의 이해와 정확한 사용에 어려움을 겪었으며, 특히 명확하지 않은 이름과 복잡한 조건 입력으로 인해 혼란스럽고 오류가 발생했다.
• 가장 효과적이고 가독성이 좋은 작업 계획은 스마트모드 조건에서 생성되었으며, 이는 간결하고 신뢰성 있으며 재사용 가능한 트리를 생성했다.
• 사용자들은 재사용 가능성에 대한 혼란으로 인해 자주 기존 트리를 삭제하고 다시 시작했으며, 이는 트리의 지속성 및 시각화 기능 향상의 필요성을 시사한다.
• 참가자들은 인식 기능이 없는 조건에서도 RGBD 센서의 시각 피드백(예: 좌표 프레임 시각화)이 유용하다고 보고하여 실시간 공간 피드백의 가치를 확인했다.