[논문 리뷰] A new approach to evaluating legibility: Comparing legibility frameworks using framework-independent robot motion trajectories

Sebastian Wallkötter, Mohamed Chétouani외 1명|arXiv (Cornell University)|2022. 01. 15.

Robotic Locomotion and Control인용 수 7

한 줄 요약

이 논문은 사전에 생성된, 운동 프레임워크에 종속되지 않는 궤적을 사용하여 프레임워크에 종속되지 않는 평가 방법을 제안한다. 이를 통해 다양한 보편성 프레임워크 간의 효율적인 N-방향 비교를 가능하게 한다. 이 방법은 Bodden 보편성(특히 속도 지표를 사용할 경우)이 가장 우수한 성능을 보이며, 궤적 진행 상황과 시야 각도가 인식된 보편성에 상당한 영향을 미친다는 것을 드러낸다. 이러한 요소들은 기존 프레임워크에서 자주 간과되는 요소들이다.

ABSTRACT

Robots that share an environment with humans may communicate their intent using a variety of different channels. Movement is one of these channels and, particularly in manipulation tasks, intent communication via movement is called legibility. It alters a robot's trajectory to make it intent expressive. Here we propose a novel evaluation method that improves the data efficiency of collected experimental data when benchmarking approaches generating such legible behavior. The primary novelty of the proposed method is that it uses trajectories that were generated independently of the framework being tested. This makes evaluation easier, enables N-way comparisons between approaches, and allows easier comparison across papers. We demonstrate the efficiency of the new evaluation method by comparing 10 legibility frameworks in 2 scenarios. The paper, thus, provides readers with (1) a novel approach to investigate and/or benchmark legibility, (2) an overview of existing frameworks, (3) an evaluation of 10 legibility frameworks (from 6 papers), and (4) evidence that viewing angle and trajectory progression matter when users evaluate the legibility of a motion.

연구 동기 및 목표

• 로봇 운동의 보편성 프레임워크를 비교하기 위한 표준화되고 효율적인 평가 방법의 부족을 해결하기 위해.
• 쌍별 실험을 필요로 하지 않고도 보편성 프레임워크 간의 직접적인 N-방향 비교를 가능하게 하기 위해.
• 시야 각도와 궤적 진행 상황과 같은 외부 요인이 인식된 보편성에 미치는 영향을 규명하고 평가하기 위해.
• 실험적 부담을 줄이고 연구 간 재현 가능성을 향상시키기 위해 통합된 벤치마킹 도구를 제공하기 위해.
• 특정 응용 시나리오에 최적의 보편성 프레임워크를 선택하는 데 연구자와 전문가를 안내하기 위해.

제안 방법

• 어떤 보편성 프레임워크에도 종속되지 않는 고정된 궤적 세트를 사전에 생성하여, 이들이 프레임워크에 종속되지 않도록 보장한다.
• 이 궤적들을 인간 평가의 기준으로 사용하여 인간이 인식하는 보편성 기준을 설정한다.
• 각 보편성 프레임워크를 동일한 궤적에 적용하여 보편성 향상된 변형을 생성하고, 이를 비교 대상으로 삼는다.
• 원본 궤적과 프레임워크 최적화된 궤적의 보편성에 대한 사용자 피드백을 수집하여 성능 순위를 매긴다.
• 두 가지 시나리오에서 실험을 수행한다: 하나는 단일 고정된 시야 각도(물리적 로봇)를 사용하고, 다른 하나는 세 개의 시야 각도(시뮬레이션된 로봇)를 사용한다.
• 궤적 진행 상황과 관측자 시점에 따라 영향을 고려한 통계 분석을 통해 프레임워크 성능을 비교한다.

실험 결과

연구 질문

• RQ1 쌍별 테스트 없이도 여러 접근 방식 간에 보편성 프레임워크를 효율적이고 견고하게 비교할 수 있는 방법은 무엇인가?
• RQ2 프레임워크에 종속되지 않는 궤적 조건에서 어떤 보편성 프레임워크가 가장 우수한 성능을 보이는가?
• RQ3 관측자의 시야 각도는 로봇의 운동 궤적 보편성 인식에 어떤 영향을 미치는가?
• RQ4 궤적이 시간에 따라 진행됨에 따라 보편성 인식은 어떻게 변화하는가?
• RQ5 현재의 보편성 프레임워크는 운동 실행 중 사용자 의도 인식의 동적 변화를 얼마나 잘 반영하고 있는가?

주요 결과

• 제안된 평가 방법은 단일 공통 궤적 세트를 사용하여 보편성 프레임워크 간의 효율적이고 직접적인 N-방향 비교를 가능하게 한다.
• Bodden 보편성은 특히 속도 지표를 사용할 경우, 두 시나리오 모두에서 다른 프레임워크보다 인식된 보편성에서 뛰어난 성능을 보인다.
• 궤적 진행 상황은 보편성 인식에 상당한 영향을 미치며, 로봇이 목표 향해 이동할수록 보편성이 증가한다.
• 시야 각도는 보편성 인식에 측정 가능한 영향을 미치며, 오직 한 개의 프레임워크(Nikolaidis 보편성)만 이 요소를 명시적으로 고려하고 있다.
• 강화 학습 기반 보편성 프레임워크는 궤적 길이에 대한 정규화로 인해 성능이 떨어질 수 있으며, 이는 보편성과 부정적인 상관관계를 가진다.
• 현재 보편성 프레임워크가 운동 실행 중 사용자 의도 인식의 동적 변화를 충분히 모델링하지 못하고 있다는 강력한 증거가 있다.