[논문 리뷰] 3D Gated Recurrent Fusion for Semantic Scene Completion

Yu Liu, Jie Li외 5명|arXiv (Cornell University)|2020. 02. 17.

Advanced Vision and Imaging참고 문헌 45인용 수 22

한 줄 요약

이 논문은 RGB 및 깊이 특징을 적응형으로 융합하기 위해 게이트 메커니즘을 사용하는 선택적 특징 선택과 보완 정보를 유지하는 메모리 유닛을 갖춘 3D 게이팅 순환 융합 네트워크인 GRFNet을 제안한다. 이 방법은 NYU 및 NYUCAD 데이터셋에서 최신 기술 성능을 달성하며, NYU에서 mIoU 32.9%를 기록하고 LSTM 기반 융합보다 2.7% 향상된 성능을 보였다.

ABSTRACT

This paper tackles the problem of data fusion in the semantic scene completion (SSC) task, which can simultaneously deal with semantic labeling and scene completion. RGB images contain texture details of the object(s) which are vital for semantic scene understanding. Meanwhile, depth images capture geometric clues of high relevance for shape completion. Using both RGB and depth images can further boost the accuracy of SSC over employing one modality in isolation. We propose a 3D gated recurrent fusion network (GRFNet), which learns to adaptively select and fuse the relevant information from depth and RGB by making use of the gate and memory modules. Based on the single-stage fusion, we further propose a multi-stage fusion strategy, which could model the correlations among different stages within the network. Extensive experiments on two benchmark datasets demonstrate the superior performance and the effectiveness of the proposed GRFNet for data fusion in SSC. Code will be made available.

연구 동기 및 목표

• RGB와 깊이 모odalities를 효과적으로 융합하는 데 있어 각 모달리티가 상보적이지만 중복되는 정보를 제공하는 도전 과제를 해결하기 위해.
• RGB 및 깊이에서 유의미한 특징을 선택적으로 융합하면서도 부족하거나 모호한 세부 정보를 유지하는 학습 가능한 적응형 융합 메커니즘을 개발하기 위해.
• 다단계 융합 전략을 통해 저수준 및 고수준 특징을 활용하여 SSC 성능을 향상시키기 위해.
• 합성, 최대, 연결, 이차형 융합과 같은 기존 융합 방법보다 개선된 성능을 내기 위해 순환적이고 게이팅된 아키텍처를 도입하기 위해.

제안 방법

• GRFNet은 게이팅 순환 유닛(GRUs)을 영감으로 삼은 새로운 게이팅 순환 융합(GRF) 블록을 사용한다. 이 블록은 RGB 및 깊이 입력에서 중요한 특징을 적응적으로 선택하기 위해 게이트 메커니즘을 활용한다.
• GRF 블록은 보완 정보를 모달리티 특징 간에 유지하고 전파함으로써, 가림 및 누락된 데이터에 대한 강건성을 향상시키는 메모리 구성 요소를 포함한다.
• 단일 단계 GRFNet은 단일 네트워크 단계에서 GRF 블록을 사용해 특징을 융합하며, 다단계 GRFNet은 저수준 및 고수준 특징을 조합하기 위해 인코더-디코더 단계를 통해 GRF 블록을 연속적으로 적용한다.
• 다단계 융합 전략은 네트워크의 다양한 단계에서 유도된 특징을 순차적으로 처리하여 융합 표현을 점진적으로 개선한다.
• GRF 블록은 3D 컨볼루션을 사용하여 구현되며, 정렬된 RGB-D 바vox 격자에서 작동하여 모달리티 융합의 엔드 투 엔드 학습을 가능하게 한다.
• 프레임워크는 세분화된 레이블링 및 장면 완성에 대해 교차 엔트로피 손실과 교차율(Intersection-over-Union, IoU) 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 합성, 최대, 연결 등의 수작업 설계된 융합 연산 방식보다 학습 가능한 순환 융합 메커니즘이 RGB-깊이 융합에서 SSC 성능을 뛰어나게 할 수 있는가?
• RQ2 융합 블록에 메모리 메커니즘이 포함될 경우, 모달리티 간 보완 정보를 유지함으로써 성능 향상이 이루어지는가?
• RQ3 다양한 네트워크 깊이에서 유도된 특징을 융합하는 다단계 융합 전략은 단일 단계 융합보다 더 높은 SSC 정확도를 달성할 수 있는가?
• RQ4 기준 데이터셋에서 기존 최신 기술 방법과 비교해 본다면, 제안된 GRFNet의 mIoU 및 IoU 성능은 어떠한가?

주요 결과

• GRFNet은 NYU 데이터셋에서 mIoU 32.9%를 기록하여 기준 DDR-SSC 및 기존 융합 방법을 모두 초월했다.
• GRF 융합 블록은 파arameter 수가 적음에도 불구하고, NYU와 NYUCAD에서 각각 LSTM 융합보다 mIoU 2.7% 및 3.4% 향상시켰다.
• 다단계 GRFNet은 장면 완성에서 평균 IoU 0.2% 향상되고, 세분화된 장면 완성에서 2.5% 향상되어 DDR-SSC를 초월했다.
• 제거 실험 결과, 게이트 메커니즘이 비게이팅 융합 대비 성능 향상이 뚜렷하게 나타났으며, 메모리 구성 요소는 추가로 정확도를 향상시켰다.
• 합성, 최대, 연결 융합보다 GRFNet은 mIoU에서 2.5~3.5%p 높은 성능을 보이며 적응형 게이팅 융합의 우수성을 입증했다.
• 더 많은 융합 단계가 추가될수록 FLOPs는 증가하지만, GRF 블록의 재사용 덕분에 파라미터 증가율은 미미하여 모델 확장성 면에서 뛰어난 효율성을 보였다.