[논문 리뷰] Human Following for Wheeled Robot with Monocular Pan-tilt Camera

Zheng Zhu, Hongxuan Ma외 1명|arXiv (Cornell University)|2019. 09. 13.

Video Surveillance and Tracking Methods참고 문헌 61인용 수 4

한 줄 요약

이 논문은 깊이 센서를 사용하지 않고 인간 신장 제약 조건과 통합 제어기를 활용하여 단안 편향 카메라 기반의 인간 따라다니기 시스템을 제안한다. 이 시스템은 시아모이즈 네트워크와 옵티컬 플로우를 조합하여 강력한 시각적 추적(FlowTrack++)을 구현함으로써 실시간으로 정확한 대상 위치 추정과 운동 제어를 가능하게 하여 시뮬레이션 및 실제 실험 모두에서 안정적인 따라다니기 성능을 달성하고 추적 오차를 최소화한다.

ABSTRACT

Human following on mobile robots has witnessed significant advances due to its potentials for real-world applications. Currently most human following systems are equipped with depth sensors to obtain distance information between human and robot, which suffer from the perception requirements and noises. In this paper, we design a wheeled mobile robot system with monocular pan-tilt camera to follow human, which can stay the target in the field of view and keep following simultaneously. The system consists of fast human detector, real-time and accurate visual tracker, and unified controller for mobile robot and pan-tilt camera. In visual tracking algorithm, both Siamese networks and optical flow information are exploited to locate and regress human simultaneously. In order in perform following with a monocular camera, the constraint of human height is introduced to design the controller. In experiments, human following are conducted and analysed in simulations and a real robot platform, which demonstrate the effectiveness and robustness of the overall system.

연구 동기 및 목표

• 깊이 센서에 의존하지 않는 휠드 로봇을 위한 인간 따라다니기 시스템을 개발하여 하드웨어 복잡성과 노이즈 민감도를 감소시키는 것.
• 대상의 이미지 높이를 사전에 정의된 상수에 가깝게 유지하면서도 카메라의 시야 범위 내에 인간 대상을 유지하는 것.
• 단안 시각과 인간 신장 제약 조건을 활용하여 로봇 운동과 편향 카메라 이동을 동시에 제어할 수 있는 통합 제어기 설계.
• 새로운 시각 추적기(FlowTrack++)를 통해 가림, 척도 변화, 배경 변화 상황에서도 추적의 강건성을 향상시키는 것.

제안 방법

• 빠른 YOLO 기반 검출기가 첫 번째 프레임에서 인간 바운딩 박스를 초기화한다.
• FlowTrack++ 시각 추적기는 시아모이즈 네트워크와 옵티컬 플로우를 결합하여 실시간으로 대상을 동시에 위치 추정 및 회귀한다.
• 억제된 음성 샘플링(Hard-negative mining)을 적용하여 갈림길에 대한 반응을 억제하고 추적의 안정성을 향상시킨다.
• 가림 및 시야 외부 이벤트를 처리하기 위해 실패 복구 전략을 구현한다.
• 이미지 기반 오차 신호(e_u, e_v, e_v2)와 신장 제약 조건(h ≈ H)을 활용하여 로봇 속도(V_r) 및 각속도(ω_r), 그리고 편향/기울기 각도(α, β)를 생성하는 통합 제어기.
• 기존에 알려진 인간 신장(1.8m)을 활용하여 단안 영상에서의 높이 정보를 기반으로 깊이를 추정함으로써 깊이 센서 없이도 거리 기반 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊이 센서 없이도 단안 카메라 시스템이 동적인 환경에서 인간 대상을 효과적으로 추적할 수 있는가?
• RQ2 단안 영상 피드백과 인간 신장 제약 조건만을 사용하여 로봇 운동과 편향 카메라를 동시에 제어할 수 있는 통합 제어기를 어떻게 설계할 수 있는가?
• RQ3 시아모이즈 네트워크와 옵티컬 플로우를 융합함으로써 가림 및 척도 변화 상황에서 추적의 강건성이 얼마나 향상되는가?
• RQ4 실제 인간 따라다니기 시나리오에서 제안된 FlowTrack++ 추적기는 ECO 및 GOTURN과 비교해 어떤가?

주요 결과

• 시뮬레이션에서는 대상이 원형 경로로 이동하는 동안에도 이미지 중심 근처에 안정적으로 유지되며 높이(h ≈ 100 픽셀)가 일정하고 로봇 궤적이 매끄럽게 유지되었다.
• 실내 실험에서는 FlowTrack++이 대상 높이 h를 약 500 픽셀로 유지하면서 e_u와 e_v가 항상 0 근처에 머물렀고, ECO 및 GOTURN은 상당한 변동을 보였다.
• 실외 실험에서는 FlowTrack++이 e_u와 e_v를 ±20 픽셀 이내로 유지하고 h를 약 300 픽셀로 유지하여 빛의 변화와 배경 혼잡함과 같은 실제 환경의 도전 과제에 강건함을 입증했다.
• FlowTrack++는 플로우 집합 및 음성 샘플링 메커니즘 덕분에 자세 변화, 척도 변화, 가림, 갈림길 등 다양한 상황을 효과적으로 처리했다.
• 실패 복구 전략 덕분에 가림 이후 대상을 신속하게 재획득할 수 있었고 추적 오차가 감소하여 시스템의 신뢰성이 향상되었다.