[논문 리뷰] GONet: A Semi-Supervised Deep Learning Approach For Traversability Estimation

Noriaki Hirose, Amir Sadeghian외 3명|arXiv (Cornell University)|2018. 03. 08.

Advanced Vision and Imaging참고 문헌 31인용 수 7

한 줄 요약

GONet는 광범위한 양의 양성(통과 가능한) 예제와 소수의 음성(비통과 가능한) 예제를 사용하여, 볼록렌즈 카메라 이미지에서 통과 가능성(Traversability)을 추정하기 위해 생성적 적대적 네트워크(GANs)를 활용한 준지도 학습 기반의 딥러닝 접근법을 제안한다. 이 방법은 실시간, 강건성 있고 메모리 효율적인 통과 가능성 예측을 달성하여, 지도 학습 기반의 기준 모델들을 능가하며, 이동형 로봇 및 시각 장애인용 안전 시스템에 실용적인 구현을 가능하게 한다.

ABSTRACT

We present semi-supervised deep learning approaches for traversability estimation from fisheye images. Our method, GONet, and the proposed extensions leverage Generative Adversarial Networks (GANs) to effectively predict whether the area seen in the input image(s) is safe for a robot to traverse. These methods are trained with many positive images of traversable places, but just a small set of negative images depicting blocked and unsafe areas. This makes the proposed methods practical. Positive examples can be collected easily by simply operating a robot through traversable spaces, while obtaining negative examples is time consuming, costly, and potentially dangerous. Through extensive experiments and several demonstrations, we show that the proposed traversability estimation approaches are robust and can generalize to unseen scenarios. Further, we demonstrate that our methods are memory efficient and fast, allowing for real-time operation on a mobile robot with single or stereo fisheye cameras. As part of our contributions, we open-source two new datasets for traversability estimation. These datasets are composed of approximately 24h of videos from more than 25 indoor environments. Our methods outperform baseline approaches for traversability estimation on these new datasets.

연구 동기 및 목표

• 비용이 많이 들거나 위험한 음성 학습 데이터에 대한 의존도를 최소화하는 실용적이고 저비용의 통과 가능성 추정 방법을 개발하는 것.
• 고급 장비나 레이블이 거의 없는 표준 볼록렌즈 카메라만으로도 이동형 로봇에서 실시간으로 작동할 수 있도록 하는 것.
• GAN 기반 준지도 학습을 통해 미리 학습되지 않은 실내 및 실외 환경에서도 일반화 능력과 강건성을 향상시키는 것.
• 로봇 및 시각 장애인을 위한 실시간 시각적 비상 정지 시스템으로서의 모델 구현 가능성을 입증하는 것.
• 다양한 실내 환경에서 통과 가능성 추정을 위한 두 개의 새로운 대규모 데이터셋 기여

제안 방법

• GONet는 생성자(generator)가 잠재 노이즈에서 실제 통과 가능한 환경를 합성하고, 판별자(discriminator)가 실제 통과 가능한 이미지와 생성된 이미지를 구분하는 GAN 기반 아키텍처를 사용한다.
• 모델는 많은 양의 양성(통과 가능한) 이미지와 소수의 음성(비통과 가능한) 이미지를 사용하여 준지도 학습을 수행한다.
• 이미지 시퀀스를 활용하고 프레임 간 일관성을 강제함으로써 레이블 데이터의 효율성을 높이는 자동 시간적 레이블링 절차를 도입한다.
• GONet+T는 순환 또는 순차적 모델링을 통합하여 예측의 시간적 일관성을 강제함으로써 부드럽고 강건한 예측을 향상시킨다.
• 강한 그림자 등의 어려운 조명 조건에서 성능을 향상시키기 위해 다중 시야 입력을 융합하는 스테레오-볼록렌즈 확장 기능을 제안한다.
• 이동형 플랫폼에서 실시간 추론을 보장하기 위해 피드포워드 네트워크로 설계되어, 로봇 및 웨어러블 기기에서의 구현을 지원한다.

실험 결과

연구 질문

• RQ1 소수의 음성 예제만을 사용하여 준지도 딥러닝 모델이 높은 정확도의 통과 가능성 추정을 달성할 수 있는가?
• RQ2 음성 데이터로 명시적으로 학습하지 않은 새로운 실내 및 실외 환경에서도 GAN 기반 모델이 얼마나 잘 일반화되는가?
• RQ3 시간적 일관성 강제 조건이 통과 가능성 예측의 강건성과 부드러움에 얼마나 기여하는가?
• RQ4 최소한의 계산 오버헤드로 이동형 하드웨어에서 효과적으로 실시간으로 배포될 수 있는가?
• RQ5 학습된 모델이 로봇 또는 시각 장애인을 위한 신뢰할 수 있는 시각적 비상 정지 시스템으로 기능할 수 있는가?

주요 결과

• GONet는 새로 제안된 데이터셋에서 완전히 지도 학습 기반 기준 모델들을 능가하며, 음성 예제가 제한된 상황에서도 정확도 향상을 보였다.
• 소수의 음성 예제를 포함시킴으로써 음성 데이터 없이 양성 데이터만으로 학습한 경우보다 성능 향상이 뚜렷하게 나타나, 준지도 학습의 유용성을 확인했다.
• GONet+T는 순차적 이미지 간에 더 부드럽고 일관성 있는 통과 가능성 예측을 달성하여, 플리커 현상과 오진 경고를 줄였다.
• 모델는 새로운 실내 및 실외 환경으로도 효과적으로 일반화되어, 사전 노출 없이도 보행자가 촬영한 데이터로도 정확한 경고를 발행했다.
• 시스템은 이동형 하드웨어에서 실시간으로 작동하며, 백팩이나 안경과 같은 웨어러블 기기로의 구현을 지원한다.
• 이 방법은 시각적 비상 정지 기능으로서 성공적으로 작동하여, 장애물이나 경사진 곳을 실시간으로 감지할 경우 청각 경고를 발행했다.