[논문 리뷰] DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks

Xiang Yu, Dieter Fox|arXiv (Cornell University)|2017. 03. 09.

Human Pose and Action Recognition참고 문헌 29인용 수 6

한 줄 요약

이 논문은 시간적 데이터 연관성을 활용하여 가시 장면 부분에 대한 공간적으로 일관된 반복적 추론을 가능하게 함으로써 RGB-D 영상에서 3D 장면 재구성과 의미적 레이블링을 동시에 수행하는 데이터 연관성 있는 순환 신경망(DA-RNN)을 제안한다. 이 방법은 RNN에 의미적 레이블을 통합하여 KinectFusion 재구성 프레임워크를 개선함으로써 실시간 및 시뮬레이션 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

3D scene understanding is important for robots to interact with the 3D world in a meaningful way. Most previous works on 3D scene understanding focus on recognizing geometrical or semantic properties of the scene independently. In this work, we introduce Data Associated Recurrent Neural Networks (DA-RNNs), a novel framework for joint 3D scene mapping and semantic labeling. DA-RNNs use a new recurrent neural network architecture for semantic labeling on RGB-D videos. The output of the network is integrated with mapping techniques such as KinectFusion in order to inject semantic information into the reconstructed 3D scene. Experiments conducted on a real world dataset and a synthetic dataset with RGB-D videos demonstrate the ability of our method in semantic 3D scene mapping.

연구 동기 및 목표

• 기존 3D 장면 재구성 방법이 물체에 대한 의미 정보를 제공하지 못하는 한계를 해결하기 위해.
• 반복적 추론을 통해 시간적 및 공간적 일관성을 활용하여 RGB-D 영상에서 의미적 레이블링 정확도를 향상시키기 위해.
• 현재 관측 중인 장면 부분에만 반복 추론을 수행하는, 컴 pact하고 메모리 효율적인 RNN 아키텍처를 개발하기 위해.
• KinectFusion을 사용하여 의미적 레이블링을 밀도 있는 3D 재구성과 통합함으로써 3D 장면에 대한 밀도 있고 일관된 의미적 레이블링을 가능하게 하기 위해.
• 물체 인스턴스 검출 및 재질 인식과 같은 다양한 의미적 레이블링 작업에 적용 가능한 유연한 프레임워크를 제공하기 위해.

제안 방법

• 각 단위가 입력 RGB-D 프레임의 픽셀에 대응하는 데이터 연관성 있는 순환 유닛(DA-RUs)을 갖는 새로운 순환 신경망 아키텍처를 도입한다.
• 재구성 과정에서 유도된 데이터 연관성에 기반해 프레임 간 DA-RU 간 시간적 연결성을 설정함으로써 정보 흐름의 공간적 일관성을 보장한다.
• DA-RU 은닉 상태에 가중 이동 평균 업데이트 규칙을 적용하여 효과적인 시간적 특징 집합을 가능하게 한다.
• RNN의 픽셀 단위 의미적 예측을 KinectFusion 3D 바vox 지도에 통합하여 의미적으로 레이블링된 3D 재구성 결과를 도출한다.
• 데이터 연관성(예: KinectFusion에서 유도)을 활용해 프레임 간 해당 픽셀을 동적으로 연결함으로써 고정된 3D 격자 RNN을 피함으로써 메모리 부담을 줄인다.
• 전체 컨볼루션 네트워크(FCNs)를 사용해 프레임 단위 의미적 분할을 수행하고, RNN이 반복 메모리를 활용해 시간에 따라 예측을 개선한다.

실험 결과

연구 질문

• RQ1 시간적 종속성을 활용함으로써 RNN이 RGB-D 영상에서 의미적 레이블링 정확도를 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 대규모 3D 장면에 적용할 경우 반복적 추론을 메모리 효율적으로 수행할 수 있는가?
• RQ3 3D 재구성 시스템에서 유도된 데이터 연관성을 활용해 영상 프레임 간 반복 유닛 간 동적이고 공간적으로 일관된 연결을 만들 수 있는가?
• RQ4 RNN 기반 의미적 레이블링을 3D 재구성과 통합함으로써 3D 의미 지도의 정확도와 일관성은 어느 정도 향상되는가?
• RQ5 제안된 프레임워크는 물체 클래스 인식을 초월한 다른 의미적 레이블링 작업에 일반화될 수 있는가?

주요 결과

• RGB-D Scene 데이터셋에서 3D 포인트 레이블링에 대해 DA-RNN은 평균 정밀도 95.2%와 평균 재현도 92.4%를 기록하여 HMP2D+3D와 같은 이전 방법들을 모두 초월한다.
• 시뮬레이션된 ShapeNet Scene 데이터셋에서 볼 레이블링에 대해 DA-RNN은 정밀도 95.3%, 재현도 91.0%를 기록하여 새로운 물체 형태로의 일반화 능력이 뛰어나다.
• 실시간 성능을 확보하여 5 프레임/초의 속도로 온라인 의미적 3D 재구성 가능하다.
• 레이블링 오류의 주요 원인은 형태 유사성(예: 머그잔 vs. 캔)과 일부 데이터 연관 오류(예: 물체 바닥을 테이블로 잘못 레이블링)이다.
• 지면 또는 테이블 위 물체를 제거하기 위한 히우리스틱 후처리 없이도 베이스라인 방법들을 능가한다.
• 저자들은 코드와 픽셀 단위 의미적 레이블이 포함된 새로운 시뮬레이션 데이터셋을 공개하여 향후 3D 의미 지도 연구를 지원한다.