[논문 리뷰] GroundNet: Segmentation-Aware Monocular Ground Plane Estimation with Geometric Consistency.

Yunze Man, Xinshuo Weng외 1명|arXiv (Cornell University)|2018. 11. 17.

Robotics and Sensor-Based Localization참고 문헌 57인용 수 6

한 줄 요약

GroundNet는 표면 법선, 2D 지면 세그멘테이션, 그리고 깊이를 동시에 예측하기 위해 두 개의 별도 스트림을 활용하고 기하 일관성 손실을 통해 기하학적 일관성을 강제하는 다중 작업 학습 프레임워크를 제안한다. 이 모델은 KITTI 및 ApolloScape 데이터셋에서 지면 평면 법선 추정과 수평선 탐지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We focus on the problem of estimating the orientation of the ground plane with respect to a mobile monocular camera platform (e.g., ground robot, wearable camera, assistive robotic platform). To address this problem, we formulate the ground plane estimation problem as an inter-mingled multi-task prediction problem by jointly optimizing for point-wise surface normal direction, 2D ground segmentation, and depth estimates. Our proposed model -- GroundNet -- estimates the ground normal in two streams separately and then a consistency loss is applied on top of the two streams to enforce geometric consistency. A semantic segmentation stream is used to isolate the ground regions and are used to selectively back-propagate parameter updates only through the ground regions in the image. Our experiments on KITTI and ApolloScape datasets verify that the GroundNet is able to predict consistent depth and normal within the ground region. It also achieves top performance on ground plane normal estimation and horizon line detection.

연구 동기 및 목표

• 지상 로봇 및 웨어러블 장치와 같은 모바일 단일 카메라 플랫폼을 위한 지면 평면 방향 추정을 향상시키기 위해.
• 비지면 영역에서 깊이 및 법선 예측 간 일관성 없는 문제를 해결하기 위해 기하 일관성을 강제하기 위해.
• 세분화 스트림을 통해 지면으로 식별된 영역에 대해서만 기울기 역전파를 선택적으로 수행하여 정확도를 향상시키기 위해.
• 지면 평면 법선 추정 및 수평선 탐지에서 최신 기술 수준의 성능을 달성하기 위해.
• 다중 작업 학습 프레임워크를 통해 지면 전반에 걸쳐 깊이 및 법선 예측의 강건성과 일관성을 확보하기 위해.

제안 방법

• GroundNet은 표면 법선 예측, 2D 지면 세그멘테이션, 깊이 추정을 통합한 다중 작업 학습 문제로 지면 평면 추정을 설정한다.
• 표면 법선을 예측하기 위해 두 개의 별도 스트림을 사용하며, 이를 기하 일관성 손실을 통해 정렬하여 공간적 일관성을 확보한다.
• 세분화 스트림은 지면 영역을 식별하고, 이 영역에 한해 역전파를 제한함으로써 학습 효율성과 국소화 정확도를 향상시킨다.
• 일관성 손실은 두 개의 법선 예측 스트림 간의 정렬을 강제하여 지면 전반에 걸쳐 기하학적으로 타당한 예측을 보장한다.
• 모델은 단일 RGB 이미지에 대한 엔드 투 엔드 학습을 통해 표면 법선, 깊이, 세그멘테이션의 세 가지 작업을 동시에 최적화한다.
• 학습은 KITTI 및 ApolloScape 데이터셋에서 수행되며, 진짜 표면 법선, 깊이, 세분화 레이블에 대한 지도 학습이 적용된다.

실험 결과

연구 질문

• RQ1 다중 작업 학습 프레임워크는 단일 카메라 지면 평면 법선 추정의 일관성과 정확도를 향상시킬 수 있는가?
• RQ2 이중 법선 예측 스트림 간 기하 일관성을 강제할 경우 추정 품질에 어떤 영향을 미치는가?
• RQ3 지면으로 식별된 영역을 중심으로 기울기 역전파를 선택적으로 수행할 경우 모델 성능 향상 정도는 어느 정도인가?
• RQ4 깊이 및 세그멘테이션의 동시 예측은 지면 평면에서의 법선 추정을 향상시킬 수 있는가?
• RQ5 GroundNet은 지면 평면 법선 추정 및 수평선 탐지에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• GroundNet은 KITTI 및 ApolloScape 데이터셋 모두에서 지면 평면 법선 추정에서 최신 기술 수준의 성능을 달성한다.
• 기하 일관성 손실을 통해 지면 영역 내 깊이 및 법선 예측이 일관되게 나타나 있음을 검증하였다.
• 세분화 스트림의 사용으로 지면 영역에만 국한된 기울기 업데이트가 가능해져 학습 효율성과 지면 영역의 국소화 정밀도가 향상되었다.
• 기하 일관성 손실은 지면 평면 전반에 걸쳐 예측된 법선의 공간적 일관성을 크게 향상시켰다.
• GroundNet은 수평선 탐지에서 뛰어난 성능을 보이며, 지면 평면 방향의 정확한 추정을 의미한다.
• 법선, 깊이, 세그멘테이션의 공동 최적화는 단일 작업 기반 베이스라인에 비해 더 강건하고 신뢰할 수 있는 예측을 이끌어냈다.