[논문 리뷰] Projection Mapping Implementation: Enabling Direct Externalization of Perception Results and Action Intent to Improve Robot Explainability

Han Zhao, Alexander S. Wilkinson외 3명|arXiv (Cornell University)|2020. 10. 05.

Social Robot Interaction and HRI참고 문헌 21인용 수 5

한 줄 요약

이 논문은 로봇이 감지한 물체나 조작 대상과 같은 시각적 정보를 표준 프로젝터를 사용해 실제 환경 표면에 직접 투사함으로써 인지 결과와 행동 의도를 외부화할 수 있는 ROS 기반의 투사 맵핑 시스템을 제안한다. Rviz 내의 가상 카메라를 실제 프로젝터의 자세와 내재 파라미터(초점 거리, 왜곡 등)와 동기화함으로써 정확하고 눈에 띄며 모호하지 않은 시각적 신호를 투사함으로써, 비언어적 신호나 디스플레이에 의존하지 않고도 인간-로봇 협업을 향상시킨다.

ABSTRACT

Existing research on non-verbal cues, e.g., eye gaze or arm movement, may not accurately present a robot's internal states such as perception results and action intent. Projecting the states directly onto a robot's operating environment has the advantages of being direct, accurate, and more salient, eliminating mental inference about the robot's intention. However, there is a lack of tools for projection mapping in robotics, compared to established motion planning libraries (e.g., MoveIt). In this paper, we detail the implementation of projection mapping to enable researchers and practitioners to push the boundaries for better interaction between robots and humans. We also provide practical documentation and code for a sample manipulation projection mapping on GitHub: https://github.com/uml-robotics/projection_mapping.

연구 동기 및 목표

• 로봇 분야에서 투사 맵핑을 위한 접근 가능한 도구의 부족으로 인해 로봇 상태의 직접적인 외부화 연구가 저해되는 문제를 해결하기 위해.
• 모호한 비언어적 신호(예: 시선, 손가락 가리키기 등)를 대체하여 실제 물체에 직접적으로 눈에 띄는 시각적 투사로 로봇의 설명 가능성(해석 가능성)을 향상시키기 위해.
• 오픈소스 소프트웨어와 ROS 통합을 통해 최소한의 맞춤형 개발로도 연구자와 실무자가 투사 맵핑을 쉽게 구현하고 연구할 수 있도록 지원하기 위해.
• 인지 및 의도의 정확하고 실시간 시각 피드백을 통해 인간-로봇 협업에서 정신적 추론과 오해를 줄이기 위해.
• 로봇에 종속되지 않는 오픈소스 구현을 제공하여, 인지 출력(예: 포인트 클라우드, 인터랙티브 마커 등)을 물리적 환경에 직접 투사할 수 있도록 하기 위해.

제안 방법

• 시스템은 실제 프로젝터의 자세와 내재 파라미터(초점 거리, 왜곡 등)를 반영하는 Rviz 내의 가상 카메라를 사용하여, 프로젝터가 보는 것과 동일한 장면을 '보게' 한다.
• 가상 카메라는 프로젝터의 CameraInfo 메시지를 수신함으로써 가상과 실제 투사 간의 광학적 일致성을 확보한다.
• Rviz에서 렌더링된 인지 데이터(예: 포인트 클라우드, 내비게이션 맵, 인터랙티브 마커 등)는 가상 카메라의 시점에서 렌더링되어 프로젝터로 스트리밍된다.
• 투사된 이미지는 ROS의 image_view 패키지를 통해 HDMI를 통해 프로젝터로 전송되며, 전체 화면 모드로 표시된다.
• 맞춤형 하드웨어 마운트와 트루니 터렛 유닛을 통해 로봇(예: Fetch)에 장착된 프로젝터를 동적으로 편향 및 기울임으로써 정확한 자세 정렬을 유지할 수 있다.
• 시스템은 로봇에 종속되지 않으며, 프로젝터가 로봇와 공유포지션에 위치해 있고 로봇의 TF 트리에 정의된 변환 프레임이 있으면서도 물리적으로 부착되어 있지 않아도 된다.

실험 결과

연구 질문

• RQ1 투사 맵핑을 통해 로봇의 인지 결과와 행동 의도를 기존의 비언어적 신호보다 더 직접적이고 모호하지 않게 외부화할 수 있는가?
• RQ2 실제 물체에 직접 인지 데이터를 투사하는 방식이 스크린 기반 디스플레이 대비 인간-로봇 협업에서 사용자 성능과 이해도 측면에서 어떻게 다를까?
• RQ3 투사 맵핑은 인간-로봇 상호작용에서 정신적 추론과 설명 요청의 필요성을 어느 정도 줄일 수 있는가?
• RQ4 저비용의 표준 프로젝터를 ROS 기반 로봇 시스템에 효과적으로 통합하여 실시간으로 정확한 투사 맵핑을 수행할 수 있는가?
• RQ5 다양한 로봇 플랫폼과 환경에 투사 맵핑을 구현할 때 발생하는 실용적 도전 과제와 그 해결 방법은 무엇인가?

주요 결과

• 시스템은 표준 로봇 소프트웨어 스택을 사용하여 실시간으로 감지된 물체나 조작 대상과 같은 인지 출력을 물리적 표면에 투사하는 데 성공했다.
• Rviz 내의 가상 카메라를 실제 프로젝터의 자세와 내재 파라미터와 정렬함으로써, 투사된 시각적 신호가 실제 물체의 형태와 크기와 정확하게 일치함을 보장했다.
• 사용자가 화면 디스플레이와 실제 환경 간의 정신적 매핑이 필요로 하는 것을 제거하여 오해와 인지 부담을 줄였다.
• 기본 투사 파이프라인에 변경 없이도 포인트 클라우드, 내비게이션 경로, 인터랙티브 마커 등의 다양한 시각화를 동적으로 투사할 수 있도록 지원했다.
• 시스템은 Fetch 로봇에서 검증되었으며, 보조 로봇을 포함한 다른 플랫폼에도 적용 가능하여 로봇에 종속되지 않는 특성을 입증했다.
• GitHub에 공개된 오픈소스 코드베이스는 연구자들이 투사 기반 설명 가능성에 관한 복제, 확장, 인간 대상 연구를 수행할 수 있도록 한다.