[논문 리뷰] Attention-based Multi-modal Fusion Network for Semantic Scene Completion

Siqi Li, Changqing Zou외 3명|arXiv (Cornell University)|2020. 03. 31.

Advanced Vision and Imaging참고 문헌 27인용 수 4

한 줄 요약

이 논문은 다중 모odal 주의 메커니즘을 통해 2D 의미 분할 특징과 깊이 신호를 융합함으로써 의미 있는 장면 완성 성능을 향상시키는 엔드 투 엔드 3D 컨볼루션 네트워크인 AMFNet을 제안한다. 2D 분할 가이던스와 잔차 주의 블록을 활용하여 AMFNet은 기존 방법 대비 SUNCG-RGBD에서 mIoU를 2.5% 향상시키고 NYUv2에서 2.6% 향상시켜 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper presents an end-to-end 3D convolutional network named attention-based multi-modal fusion network (AMFNet) for the semantic scene completion (SSC) task of inferring the occupancy and semantic labels of a volumetric 3D scene from single-view RGB-D images. Compared with previous methods which use only the semantic features extracted from RGB-D images, the proposed AMFNet learns to perform effective 3D scene completion and semantic segmentation simultaneously via leveraging the experience of inferring 2D semantic segmentation from RGB-D images as well as the reliable depth cues in spatial dimension. It is achieved by employing a multi-modal fusion architecture boosted from 2D semantic segmentation and a 3D semantic completion network empowered by residual attention blocks. We validate our method on both the synthetic SUNCG-RGBD dataset and the real NYUv2 dataset and the results show that our method respectively achieves the gains of 2.5% and 2.6% on the synthetic SUNCG-RGBD dataset and the real NYUv2 dataset against the state-of-the-art method.

연구 동기 및 목표

• 2D 의미 분할을 감독 신호로 활용하여 3D 의미 장면 완성(SSC) 성능을 향상시키는 것.
• 주목적 기반 주의 메커니즘을 통해 신뢰할 수 있는 깊이 신호에 초점을 맞춰 3D 장면의 희소성 문제를 해결하는 것.
• 3D 장면 완성과 의미 레이블링을 공동 최적화하는 다중 모달 융합 프레임워크를 개발하는 것.
• 2D 분할 경험을 효과적으로 3D 완성에 활용할 수 있으며, 특히 물체 경계와 소형 물체에 대해 유용함을 입증하는 것.

제안 방법

• 한 분지에서는 2D 의미 분할 예측 결과를 활용해 3D 특징 학습을 유도하는 이중 분지 3D 볼륨 네트워크를 설계하였다.
• 2D-3D 투영을 적용하여 2D 의미 레이블을 초기 3D 의미 특징 볼륨으로 변환하였다.
• 유의미한 볼록체를 동적으로 강조하고 빈 영역의 노이즈를 억제하기 위해 잔차 주의 블록(RAB)을 도입하였다.
• RGB, 깊이, HHA 특징을 융합하는 다중 모달 융합 아키텍처를 사용하여 3D 표현을 향상시켰다.
• 3D 가이던스 분지가 2D 분할 결과를 공간 제약 조건으로 삽입하여 물체 경계 예측 성능을 향상시켰다.
• 3D 장면 완성과 의미 레이블링을 공동 최적화하기 위해 교차 엔트로피 손실과 평균 교차율(mIoU) 손실을 사용해 엔드 투 엔드로 학습하였다.

실험 결과

연구 질문

• RQ1 2D 의미 분할 결과는 3D 의미 장면 완성 성능 향상에 기여하는가?
• RQ2 주목적 기반 특징 정제는 희소한 3D 볼록체 데이터 처리에 얼마나 효과적인가?
• RQ3 2D 분할 경험을 활용하면 RGB-D 입력만을 사용하는 경우보다 더 나은 3D 완성 및 레이블링 성능를 달성하는가?
• RQ4 잔차 주의 블록(RAB)은 소형 또는 가림을 받은 물체에 대해 3D 완성 네트워크의 특징 학습을 향상시키는가?
• RQ5 3D 가이던스 분지의 물체 경계 정확도 향상 기여도는 어떠한가?

주요 결과

• AMFNet은 최신 기술 수준 방법 대비 합성된 SUNCG-RGBD 데이터셋에서 mIoU를 2.5% 향상시켰다.
• 실제 NYUv2 데이터셋에서 AMFNet은 현재 최신 기술 수준 방법 대비 mIoU를 2.6% 향상시켰다.
• 3D 가이던스 분지에 진짜 2D 분할 레이블을 입력했을 경우, SUNCG-RGBD에서는 성능이 3.8% 향상되었고, NYUv2에서는 4.3% 향상되었다.
• 기본 모델에 주목적 기반 주의 블록(RAB)을 적용했을 때, SUNCG-RGBD에서 mIoU는 3.0% 향상되었고, NYUv2에서는 2.9% 향상되었다.
• 제거 실험 결과, 3D 가이던스 분지가 복잡한 물체(침대, 벽 등)의 경계 정확도 향상에 크게 기여하는 것으로 확인되었다.
• RAB가 포함된 모델은 종종 주목적 기반 주의 없이 무시되는 작은 물체(예: 캐비닛 위의 종이 더미)를 더 잘 재구성하는 경향을 보였다.