[논문 리뷰] A Protocol for Validating Social Navigation Policies

Sören Pirk, Edward Lee외 4명|arXiv (Cornell University)|2022. 04. 11.

Mobile Crowdsensing and Crowdsourcing인용 수 6

한 줄 요약

이 논문은 실세계 시나리오와 현장 설문지를 활용하여 사회적 상호작용 준수 정도를 측정하는 표준화된 벤치마크 프로토콜을 제안한다. 이 방법은 다양한 환경과 정책 간에 높은 반복성, 확장성, 신뢰성을 보이며, 설문지 평가가 미세한 사회적 행동, 예를 들어 경미한 충돌과 같은 부정적 상호작용까지 효과적으로 포착함을 보여준다.

ABSTRACT

Enabling socially acceptable behavior for situated agents is a major goal of recent robotics research. Robots should not only operate safely around humans, but also abide by complex social norms. A key challenge for developing socially-compliant policies is measuring the quality of their behavior. Social behavior is enormously complex, making it difficult to create reliable metrics to gauge the performance of algorithms. In this paper, we propose a protocol for social navigation benchmarking that defines a set of canonical social navigation scenarios and an in-situ metric for evaluating performance on these scenarios using questionnaires. Our experiments show this protocol is realistic, scalable, and repeatable across runs and physical spaces. Our protocol can be replicated verbatim or it can be used to define a social navigation benchmark for novel scenarios. Our goal is to introduce a protocol for benchmarking social scenarios that is homogeneous and comparable.

연구 동기 및 목표

• 사회적 준수성 로봇 주행을 평가하기 위한 표준화되고 반복 가능하며 현실적인 벤치마크의 부족을 해결하기 위해.
• 다양한 연구소와 환경 간에 주행 정책를 일관되게 비교할 수 있도록 프로토콜을 개발하기 위해.
• 안전성과 작업 성능을 초월하여 사회적 수용성을 평가하기 위해 인간 설문지를 기반으로 한 현장 측정 기준을 도입하기 위해.
• 가벼운 표준 시나리오 정의를 통해 새로운 사회적 주행 시나리오에 대해 확장 가능하고 일반화 가능한 벤치마크를 보장하기 위해.

제안 방법

• frontal approach, intersection wait, intersection gesture, narrow doorway, blind corner의 다섯 가지 표준 사회적 주행 시나리오 정의.
• 실제 로봇과 실제 인간 참가자를 활용하여 실세계 물리적 환경에서 각 시나리오를 구현.
• 각 시나리오당 4~5개의 질문을 포함한 경량 설문지를 사용하여 현장에서 인간의 사회적 준수 정도 평가 수집.
• 부정적 표현 질문을 역수로 코드화하여 설문 항목 간 일관된 해석 보장.
• 다양한 정책(예: 모델 예측 제어(MPC) 및 행동 클로닝(BC))을 반복 실행하여 평가에 프로토콜 적용.
• 통계 분석을 통해 평가자 간 신뢰도와 시간 및 장소 간 재현성 테스트 수행.

실험 결과

연구 질문

• RQ1 사전 정의된 사회적 시나리오를 갖춘 표준화된 실세계 벤치마크가 다양한 물리적 공간과 연구소 간에 신뢰성 있게 재현 가능한가?
• RQ2 현장 설문지를 통해 사회적 주행 정책 성능 평가에 대해 신뢰성 있고 의미 있는 측정 기준을 제공할 수 있는가?
• RQ3 다른 주행 정책(예: MPC 대비 BC) 간 인간 평가자 기반 평가에서 사회적 준수 정도의 인식 차이가 얼마나 있는가?
• RQ4 전통적 측정 기준이 놓칠 수 있는 미세한 사회적 실패(예: 경미한 신체 접촉)를 프로토콜이 감지할 수 있는가?
• RQ5 반복 시험과 다양한 참가자 간 인간 평가가 얼마나 일관된가로 측정 기준의 신뢰도를 보장하는가?

주요 결과

• 설문지 기반 측정 기준은 높은 평가자 간 신뢰도를 보이며, 동일한 시나리오에 대해 세 명의 다른 참가자 간 평균 평가가 유사하였다.
• 한 명의 참가자에 대해 90회의 반복 실행에서도 동일한 시나리오가 일관된 평균 평가를 보였으며, 이는 강력한 재측정 신뢰도를 시사한다.
• MPC 정책은 BC 정책보다 평균 평가가 낮게 나와 BC 정책이 더 사회적으로 준수된다고 인식되었음을 나타낸다.
• 맹각 구간 시나리오에서 발생한 경미한 충돌은 영상에서 거의 눈에 띄지 않았지만, '사회적 적절성에 대해 강하게 반대'라는 강한 부정 평가를 받았으며, 이는 미세한 사회적 실패에 대한 민감도를 보여준다.
• 다양한 물리적 장소에서 일관되고 비교 가능한 결과를 도출하여 프로토콜의 확장성과 재현 가능성을 뒷받침한다.
• 최대 30회의 런을 한 번에 수행하는 것이 신뢰할 수 있고 의미 있는 성능 기울기를 확보하는 데에 충분하여, 평가의 비용 효율성을 보여준다.