[논문 리뷰] GONet++: Traversability Estimation via Dynamic Scene View Synthesis.

Noriaki Hirose, Amir Sadeghian외 2명|arXiv (Cornell University)|2018. 06. 22.

Robot Manipulation and Learning참고 문헌 28인용 수 3

한 줄 요약

이 논문은 두 개의 연속된 시간 단계에서의 RGB 이미지만을 사용하여 동적 환경의 시각적 변화를 합성함으로써 향후 로봇 주행 가능성을 추정하는 GONet++ 방법을 제안한다. SNet과 DNet이라는 두 개의 네트워크를 통해 카메라 자세 변화와 동적 장애물 운동을 분리하여 처리함으로써 정적 및 동적 환경 모두에서 정확한 미래 이미지를 생성하며, 이는 주행 가능성 예측 성능을 향상시킨다. 실험은 원격 조작 응용 분야에서 수행되었다.

ABSTRACT

We present VUNet, a novel view(VU) synthesis method for mobile robots in dynamic environments, and its application to the estimation of future traversability. Our method predicts future images for given virtual robot velocity commands using only RGB images at previous and current time steps. The future images result from applying two types of image changes to the previous and current images: 1) changes caused by different camera pose, and 2) changes due to the motion of the dynamic obstacles. We learn to predict these two types of changes disjointly using two novel network architectures, SNet and DNet. We combine SNet and DNet to synthesize future images that we pass to our previously presented method GONet to estimate the traversable areas around the robot. Our quantitative and qualitative evaluation indicate that our approach for view synthesis predicts accurate future images in both static and dynamic environments. We also show that these virtual images can be used to estimate future traversability correctly. We apply our view synthesis-based traversability estimation method to two applications for assisted teleoperation.

연구 동기 및 목표

• 두 개의 시간 단계에서의 RGB 이미지만을 사용하여 동적 환경에서 이동하는 로봇의 정확한 미래 환경 시각 합성을 가능하게 하기 위해.
• 이미지 변화에서 카메라 운동과 동적 장애물 운동의 영향을 분리하여 보다 향상된 시각 합성 성능를 달성하기 위해.
• 합성된 미래 이미지를 활용하여 로봇 주행 가능성 추정 성능을 향상시키기 위해.
• 보조 원격 조작과 같은 실제 응용 분야에서 방법의 유효성을 검증하기 위해.
• 정량적 및 정성적 평가를 통해 정적 및 동적 환경 모두에서의 강인성을 입증하기 위해.

제안 방법

• 이 방법은 미래 이미지를 생성하기 위해 두 가지 다른 이미지 변화를 모델링하는 새로운 시각 합성 네트워크인 VUNet을 사용한다: 카메라 자세 이동과 동적 장애물 운동.
• SNet은 두 시간 단계 간의 상대적 로봇 자세에 기반하여 카메라 운동에 의한 이미지 변화를 예측하는 전용 네트워크이다.
• DNet은 두 입력 이미지의 외관 및 운동 특징을 사용하여 이동하는 장애물에 의한 이미지 변화를 예측하는 별도의 네트워크이다.
• SNet과 DNet의 출력을 조합하여 완전한 미래 이미지를 합성하며, 이는 로봇이 향후 자세에서 볼 수 있는 시각을 시뮬레이션한다.
• 합성된 미래 이미지는 이전에 개발된 주행 가능성 추정 모델인 GONet에 입력되어 주행 가능한 영역을 예측한다.
• 이 접근법은 깊이 정보, 객체 검출, 또는 장면 세분화 네트워크를 요구하지 않으며 오직 RGB 입력에 의존한다.

실험 결과

연구 질문

• RQ1 두 개의 RGB 이미지와 로봇 속도 명령어만을 사용하여 동적 환경에서 정확한 미래 환경 시각 합성을 수행할 수 있는가?
• RQ2 카메라 운동과 동적 장애물 운동을 분리함으로써 합성된 미래 이미지의 품질이 향상되는가?
• RQ3 합성된 미래 이미지를 사용할 경우 실시간 인식만을 사용하는 것보다 주행 가능성 추정 정확도가 향상되는가?
• RQ4 이동 장애물이 존재하는 실제 원격 조작 시나리오에서 이 방법은 얼마나 효과적인가?
• RQ5 명시적인 장면 이해 없이도 정적 및 동적 환경 모두에 일반화되어 성능을 유지하는가?

주요 결과

• 제안된 시각 합성 방법은 정성적 및 정량적 평가를 통해 정적 및 동적 환경 모두에서 고해상도의 미래 이미지를 생성함을 확인하였다.
• SNet과 DNet를 통해 카메라 자세 변화와 동적 장애물 운동을 분리함으로써 더 정확하고 현실적인 이미지 합성이 가능해졌다.
• 합성된 이미지를 GONet에 입력으로 사용할 경우 주행 가능성 추정 정확도가 크게 향상되었다.
• 이 방법은 두 가지 보조 원격 조작 응용 분야에서 성공적으로 구현되어 실제 시나리오에서의 실용성을 입증하였다.
• 깊이 센서, 객체 검출, 또는 장면 세분화를 요구하지 않으며 오직 RGB 입력에 의존함으로써 강인한 성능을 달성하였다.