[논문 리뷰] Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras

Lingni Ma, Jörg Stückler외 2명|arXiv (Cornell University)|2017. 03. 26.

Robotics and Sensor-Based Localization참고 문헌 30인용 수 18

한 줄 요약

이 논문은 RGB-D 카메라를 사용한 일致된 시맨틱 매핑을 위한 다중 시점 딥 러닝 프레임워크를 제안한다. SLAM 트래잭터리에 기반해 다수의 시점에서 특징을 기준 프레임으로 워핑함으로써 CNN을 학습시켜 시점에 관계없이 동일한 의미 정보를 예측하도록 한다. 다중 척도 감독과 다중 시점 일致성 학습을 통해 NYUDv2에서 단일 시점 세그멘테이션과 다중 시점 융합 세그멘테이션 모두 최고 성능을 기록하며, 특징의 맥스 풀링이 가장 우수한 결과를 얻는다.

ABSTRACT

Visual scene understanding is an important capability that enables robots to purposefully act in their environment. In this paper, we propose a novel approach to object-class segmentation from multiple RGB-D views using deep learning. We train a deep neural network to predict object-class semantics that is consistent from several view points in a semi-supervised way. At test time, the semantics predictions of our network can be fused more consistently in semantic keyframe maps than predictions of a network trained on individual views. We base our network architecture on a recent single-view deep learning approach to RGB and depth fusion for semantic object-class segmentation and enhance it with multi-scale loss minimization. We obtain the camera trajectory using RGB-D SLAM and warp the predictions of RGB-D images into ground-truth annotated frames in order to enforce multi-view consistency during training. At test time, predictions from multiple views are fused into keyframes. We propose and analyze several methods for enforcing multi-view consistency during training and testing. We evaluate the benefit of multi-view consistency training and demonstrate that pooling of deep features and fusion over multiple views outperforms single-view baselines on the NYUDv2 benchmark for semantic segmentation. Our end-to-end trained network achieves state-of-the-art performance on the NYUDv2 dataset in single-view segmentation as well as multi-view semantic fusion.

연구 동기 및 목표

• 로봇의 장면 이해를 위한 RGB-D 시퀀스에서 다중 시점 간의 시맨틱 세그멘테이션 일관성을 향상시키기 위해.
• 자기 주도적으로 다중 시점 일관성을 활용하여 대규모 애너테이션 데이터에 대한 의존도를 줄이기 위해.
• 시점에 관계없는 특징 학습을 통한 엔드 투 엔드 학습을 통해 단일 시점 세그멘테이션 및 다중 시점 융합 성능을 향상시키기 위해.
• RGB-D 카메라를 사용하는 시맨틱 SLAM 시스템에 통합 가능한 프레임워크를 개발하기 위해.

제안 방법

• RGB 및 깊이 특징 전용 별도의 브랜치를 갖는 인코더-디코더 아키텍처를 기반으로 하며, FuseNet을 영감으로 삼고, 이후 융합 및 디컨볼루션을 통한 업샘플링을 수행한다.
• 모든 디코더 레이어에 다중 척도 딥 감독을 적용하여 특징 학습과 국소화 정확도를 향상시킨다.
• SLAM 트래잭터리 추정치를 사용해 다수의 시점에서 예측된 특징 맵을 공통 기준 시점으로 워핑함으로써 다중 시점 일관성을 강제한다.
• 다중 시점 일관성 학습의 세 가지 변형을 제안한다: 맥스 풀링을 통한 특징 맵 워핑, 증강 기반 워핑, 학습 중 베이지안 융합.
• 테스트 시점에서는 SLAM 트래잭터리와 베이지안 융합 규칙을 사용해 다수의 시점에서의 예측을 키프레임에 확률적으로 융합한다.
• 학습 과정에서는 다중 척도에서 워핑된 예측을 감독으로 사용하여 네트워크가 시점에 관계없는 표현을 학습하도록 한다.

실험 결과

연구 질문

• RQ1 단일 시점 베이스라인과 비교해 다중 시점 일관성 학습이 RGB-D 시퀀스의 시맨틱 세그멘테이션 성능을 향상시키는가?
• RQ2 특징 워핑, 데이터 증강, 또는 베이지안 융합 중 어느 방법이 단일 시점 및 다중 시점 설정 모두에서 가장 높은 성능을 낳는가?
• RQ3 다중 척도 감독과 다중 시점 일관성 학습을 통한 엔드 투 엔드 학습이 NYUDv2 벤치마크에서 최고 성능을 달성하는가?
• RQ4 다중 시점 융합은 단일 시점 예측에 비해 세그멘테이션 정확도를 얼마나 향상시키는가?

주요 결과

• 워핑된 특징 맵의 맥스 풀링을 통한 제안된 다중 시점 일관성 학습이 단일 시점 예측에서 NYUDv2 13클래스 시맨틱 세그멘테이션 벤치마크에서 최고 성능을 기록한다.
• 베이지안 융합을 사용한 다중 시점 융합은 단일 시점 예측 대비 모든 평가 지표에서 약 2%의 정확도 향상을 보였다.
• 모든 다중 시점 일관성 학습 접근 방식이 단일 시점 베이스라인(MVCNet-Mono)을 크게 앞서며, 특히 다중 시점 맥스 풀링이 가장 높은 성과를 보였다.
• 기존 연구에서 흔히 사용되는 조밀한 CRF와 같은 후처리 단계가 필요 없이도 뛰어난 성능을 달성했다.
• 정성적 결과는 다중 시점 일관성 학습이 특히 물체 경계나 혼잡한 장면과 같은 도전적인 영역에서 더 균일하고 정확한 세그멘테이션을 이끌어낸다는 것을 보여준다.
• RGB-D SLAM 트래잭터리와 엔드 투 엔드 학습에 호환되므로, 시맨틱 SLAM 파이프라인에의 통합 잠재력이 높다는 것을 입증했다.