[논문 리뷰] Persistent self-supervised learning principle: from stereo to monocular vision for obstacle avoidance

Kevin van Hecke, Guido de Croon외 3명|arXiv (Cornell University)|2016. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 비행 로봇이 충돌 시 '훈련용 바퀴'로 기능하는 스테레오 시각을 유일한 훈련 수 Mittel로 사용하여 스테레오 시각에서 단안 깊이 추정으로 전이할 수 있도록 하는 지속적 자기지도 학습(SSL) 프레임워크를 제안한다. 이 방법은 피드백 유도 데이터 편향을 효과적으로 줄여, 단지 4~5분의 훈련 데이터로도 실제 환경에서 강건한 단안 주행을 달성한다.

ABSTRACT

Self-Supervised Learning (SSL) is a reliable learning mechanism in which a robot uses an original, trusted sensor cue for training to recognize an additional, complementary sensor cue. We study for the first time in SSL how a robot's learning behavior should be organized, so that the robot can keep performing its task in the case that the original cue becomes unavailable. We study this persistent form of SSL in the context of a flying robot that has to avoid obstacles based on distance estimates from the visual cue of stereo vision. Over time it will learn to also estimate distances based on monocular appearance cues. A strategy is introduced that has the robot switch from stereo vision based flight to monocular flight, with stereo vision purely used as 'training wheels' to avoid imminent collisions. This strategy is shown to be an effective approach to the 'feedback-induced data bias' problem as also experienced in learning from demonstration. Both simulations and real-world experiments with a stereo vision equipped AR drone 2.0 show the feasibility of this approach, with the robot successfully using monocular vision to avoid obstacles in a 5 x 5 room. The experiments show the potential of persistent SSL as a robust learning approach to enhance the capabilities of robots. Moreover, the abundant training data coming from the own sensors allows to gather large data sets necessary for deep learning approaches.

연구 동기 및 목표

• 자기지도 학습 운영으로 전환할 때 발생하는 피드백 유도 데이터 편향 문제를 해결하기 위해.
• 원래 센서 신호(스테레오 시각)가 실패할 경우에도 작업 성능을 유지할 수 있는 지속적 SSL 전략을 개발하기 위해.
• 사용자 개입 최소화로 스테레오 기반 거리 추정치에서 단안 깊이 추정을 학습할 수 있도록 하는 데 목적이 있다.
• 스테레오 장착 AR.Drone 2.0를 활용해 실내 환경에서 실시간으로 실현 가능하고 강건한 지속적 SSL의 타당성과 성능을 평가하기 위해.
• 기내 센서 데이터가 실시간 로봇 시스템에서 단안 깊이 추정을 위한 딥러닝을 지원할 수 있음을 입증하기 위해.

제안 방법

• 로봇은 초기 학습 단계에서 스테레오 시각을 신뢰할 수 있는 감독 신호로 사용하여 단안 외관 기반 깊이 추정 모델을 훈련시킨다.
• 학습 후 로봇은 단안 비행으로 전환하여 학습된 모델에 의존해 깊이를 추정하며, 충돌이 임박할 경우에만 다시 스테레오 시각으로 전환한다.
• 이 방법은 '훈련용 바퀴' 전략을 모방하여, 고위험 상황에서 스테레오 시각이 안전 장치로 작용한다.
• 실시간 센서 데이터를 기반으로 시각적 백색어휘(VBoW) 모델과 소형 컨volution 신경망(CNN)을 훈련시어 단안 이미지 특징을 깊이 추정치로 매핑한다.
• 학습 과정은 실시간 디스parity 추정치를 진정값으로 사용하는 감독 손실 함수를 활용하여 원시 시각 입력에서부터 엔드 투 엔드 학습이 가능하도록 한다.
• 시스템은 5×5m 실내 환경에서 시뮬레이션 및 실제 실험을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 로봇이 스테레오 시각에서 단안 깊이 추정으로 전이할 때 장애물 회피 성능을 어떻게 유지할 수 있는가?
• RQ2 지속적 자기지도 학습 중 피드백 유도 데이터 편향을 최소화하는 데 가장 효과적인 행동 전략은 무엇인가?
• RQ3 사용자 레이블링된 예시 없이도 로봇이 자신의 센서 데이터만으로 단안 깊이 추정을 효과적으로 학습할 수 있는가?
• RQ4 실제 환경 조건에서 학습된 단안 깊이 모델의 성능은 스테레오 기반 추정과 비교해 어떻게 되는가?
• RQ5 훈련 기간과 데이터 양은 학습된 단안 깊이 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 충돌 위험이 있는 상황에서만 스테레오 시각을 사용하는 '훈련용 바퀴' 전략이 스테레오에서 단안 비행으로의 경직된 전환 전략보다 유의미하게 뛰어나, 데이터 편향을 줄이고 안전성을 향상시켰다.
• 실제 실험을 통해 단지 4~5분의 훈련 데이터로도 단안 시각만으로도 성공적인 장애물 회피가 가능했으며, 약 7,000~9,000개의 감독 샘플이 생성되었다.
• 학습된 단안 깊이 모델은 VBoW 기반 기준 모델과 유사한 성능을 보였으며, 더 큰 데이터셋과의 딥러닝 통합 가능성도 보여주었다.
• 지속적 SSL 프레임워크 덕분에 기내에서 풍부한 훈련 데이터를 확보할 수 있었고, 외부 데이터 수집에 대한 의존도를 줄일 수 있었다.
• 학습 중 일관된 감독 신호를 유지함으로써 학습에서의 레이블링에 기반한 데이터 분포 이탈 문제를 효과적으로 완화하였다.
• CNN 기반 모델은 AR.Drone 2.0 하드웨어에 성공적으로 구현되어 계산 자원 제약 조건 하에서도 기내 추론의 실현 가능성을 입증했다.