[논문 리뷰] Solving Service Robot Tasks: UT Austin Villa@Home 2019 Team Report

Rishi Shah, Yuqian Jiang외 9명|arXiv (Cornell University)|2019. 09. 14.

Robotics and Automated Systems참고 문헌 13인용 수 4

한 줄 요약

이 논문은 UT Austin Villa@Home 2019 팀이 Toyota HSR 플랫폼을 사용하여 다양한 자율 서비스 로봇 작업을 해결하기 위한 접근 방식을 제시한다. 인식, 주행, 운용, 인간-로봇 상호작용 등의 AI 기술을 통합하였다. 하드웨어 문제로 인해 전체 대회 시연가 불가능했지만, 주로 주행, 사람 따라가기, 물체 배치 작업에서 뚜렷한 성과를 거두었으며, 강력하고 통합된 HRI 시스템을 위한 주요 과제와 향후 방향성을 강조한다.

ABSTRACT

RoboCup@Home is an international robotics competition based on domestic tasks requiring autonomous capabilities pertaining to a large variety of AI technologies. Research challenges are motivated by these tasks both at the level of individual technologies and the integration of subsystems into a fully functional, robustly autonomous system. We describe the progress made by the UT Austin Villa 2019 RoboCup@Home team which represents a significant step forward in AI-based HRI due to the breadth of tasks accomplished within a unified system. Presented are the competition tasks, component technologies they rely on, our initial approaches both to the components and their integration, and directions for future research.

연구 동기 및 목표

• RoboCup@Home 2019 대회에서 다양한 국내 작업을 수행할 수 있는 통합형 자율 서비스 로봇 시스템을 개발하는 것.
• 다양한 AI 서브시스템—인식, 주행, 운용, HRI—를 강력하고 실시간으로 통합하는 데 도전하는 것.
• 사람 따라가기 및 제스처 인식과 같은 반응형이고 맥락 인식 기반 행동을 구현함으로써 AI 기반 인간-로봇 상호작용을 발전시키는 것.
• 하드웨어 제약 조건에도 불구하고 구성 기술과 통합 성능를 실제 환경 제약 조건 하에서 평가하고 문서화하는 것.
• 비정형적이고 인간 중심의 환경에서 자율 서비스 로봇을 위한 핵심 연구 격차와 향후 방향성을 규명하는 것.

제안 방법

• 팀은 휠체어 기반, 4-DoF 암, RGBD 헤드 카메라를 갖춘 Toyota HSR 로봇을 사용하였으며, 실시간 딥러닝 추론을 위해 외장 GPU 노트북을 추가로 장착하였다.
• 인식 작업은 YOLO를 활용한 물체 검출, OpenPose를 활용한 인간 관절 추정, LIDAR 및 융합된 포인트 클라우드 비용지도를 활용한 장애물 및 물체 위치 결정에 기반하였다.
• 주행 및 경로 계획은 국소 비용지도와 A* 계획 기반으로 이루어졌으며, 목표 지점으로의 이동은 사람이나 물체로 향하는 가장 짧은 경로 상에서 충돌이 일어나지 않는 가장 먼 지점으로 계산되었다.
• 사람 따라가기는 행동 트리 프레임워크를 활용하여 검색 및 추적를 조율하였으며, 타겟을 식별하기 위해 손 흔들기 제스처를 사용하였다.
• 식품 보관 및 테이블 청소와 같은 운용 작업의 경우, 초기 위치 추정을 수행한 후, 센서 융합을 통해 눈에 보이는 기하학적 특징(예: 싱크대 모서리)에 맞춰 정밀 위치 조정을 수행하였다.
• 시스템은 의미론적 추론을 활용하여 물체 배치를 안내하였으며(예: 냉장고 안에서 유사한 물체를 그룹화), 레스토랑 작업에서 고객 요청을 감지하기 위해 제스처 인식을 활용하였다.

실험 결과

연구 질문

• RQ1 통합 로봇 시스템은 어떻게 다수의 AI 구성 요소—인식, 주행, 운용, HRI—를 강력하고 자율적인 서비스 로봇으로 통합할 수 있는가?
• RQ2 비정형적이고 동적인 환경(예: 모의 주거 환경)에서 실시간으로 반응형 인간-로봇 상호작용을 구현하는 데 있어 핵심 과제는 무엇인가?
• RQ3 정밀한 위치 추정이 어려운 상황에서 물체 배치 및 회수와 같은 운용 작업을 신뢰성 있게 수행할 수 있는 방법은 무엇인가? 특히 실패 시 탈락이 되는 상황에서 말이다.
• RQ4 행동 트리와 센서 융합이 실제 환경에서 주행 및 목표 추적의 신뢰성을 얼마나 향상시킬 수 있는가?
• RQ5 의미론적 인간 선호도 이해(예: 물체 그룹화)는 서비스 로봇에서 작업 성공률 향상과 자연스러운 인식을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 팀은 사람 따라가기, 제스처 감지, 물체 배치의 核심 기능을 성공적으로 시연하였으며, 로봇은 시각적 및 LIDAR 기반의 모서리 검출을 통해 싱크대를 정확히 식별하고 정렬할 수 있었다.
• 행동 트리 기반 시스템은 혼잡하지 않은 환경에서 반응성 있고 신뢰할 수 있는 사람 따라가기 기능을 제공하였지만, 고밀도 또는 동적인 환경에서는 성능 저하가 발생하였다.
• LIDAR와 시각 데이터 융합을 통해 싱크대에 정확히 정렬함으로써 정밀한 물체 배치를 달성하였으며, 탈락을 방지하였다.
• 제스처 기반 감지(예: 손 흔들기)를 활용하여 레스토랑 작업에서 활성 고객을 식별할 수 있었고, 지도 없이도 안전한 거리까지 이동할 수 있도록 하였다.
• 하드웨어 고장으로 인해 전체 대회 성능을 구현하지 못했지만, 팀은 모든 작업에서 성공적인 시험을 기록하였으며, 통합 접근 방식의 실현 가능성을 입증하였다.
• 연구는 실제 HRI 응용 분야에서 신뢰성을 향상시키기 위해 개선된 사람 재식별 및 센서 융합 기법이 필요하다는 점을 강조하였다.