[논문 리뷰] Efficient Semantic Scene Completion Network with Spatial Group Convolution

Jiahui Zhang, Hao Zhao외 4명|arXiv (Cornell University)|2019. 07. 11.

3D Shape Modeling and Analysis참고 문헌 50인용 수 6

한 줄 요약

이 논문은 3D 특징 맵을 공간 그룹으로 분할하여 효율적인 희소 컨볼루션을 가능하게 하는 새로운 방법인 공간 그룹 컨볼루션(SGC)을 제안한다. 이는 정확도의 최소한의 손실과 함께 계산량을 크게 감소시킨다. 다중스케일, 굵기에서 세밀한 희소 컨벌루션 신경망 아키텍처와 엔드 투 엔드 학습을 통해, 단일 깊이 이미지에서 완전한 3D 시나리오 재구성에 대해 상태의 최고 성능(SOTA)을 달성한다. SUNCG에서 3배 빠른 추론 속도와 0.7%의 IoU 손실을 기록한다.

ABSTRACT

We introduce Spatial Group Convolution (SGC) for accelerating the computation of 3D dense prediction tasks. SGC is orthogonal to group convolution, which works on spatial dimensions rather than feature channel dimension. It divides input voxels into different groups, then conducts 3D sparse convolution on these separated groups. As only valid voxels are considered when performing convolution, computation can be significantly reduced with a slight loss of accuracy. The proposed operations are validated on semantic scene completion task, which aims to predict a complete 3D volume with semantic labels from a single depth image. With SGC, we further present an efficient 3D sparse convolutional network, which harnesses a multiscale architecture and a coarse-to-fine prediction strategy. Evaluations are conducted on the SUNCG dataset, achieving state-of-the-art performance and fast speed. Code is available at https://github.com/zjhthu/SGC-Release.git

연구 동기 및 목표

• 3D 밀도 예측 네트워크의 높은 계산 비용, 특히 입방체적 메모리 및 FLOP 증가를 겪는 희소 3D 데이터에서의 문제를 해결하기 위해.
• 3D 바vox 데이터 내부의 내재된 희소성과 중복성을 활용하여 더 효율적인 신경망 아키텍처를 설계하기 위해.
• 의미적 정확도를 희생시키지 않고 3D 희소 컨볼루션을 가속화하는 방법을 개발하여, 특히 시나리오 완성 작업에 적합하게 하기 위해.
• 단일 깊이 이미지에서 완전한 3D 시나리오 기하학적 및 의미적 정보를 엔드 투 엔드로 학습할 수 있도록 하기 위해.

제안 방법

• 입력 바vox를 공간 그룹으로 분할하고 각 그룹에 대해 독립적으로 희소 3D 컨볼루션을 적용하여 계산량을 줄이는 공간 그룹 컨볼루션(SGC)을 제안한다.
• 빈 바vox를 처리하지 않도록 하기 위해 해시 테이블 기반의 희소 3D 컨볼루션 네트워크(SCN) 프레임워크를 사용하여 희소 3D 데이터를 효율적으로 처리한다.
• 재구성 품질 향상과 누락된 구조 처리를 위해 다중스케일 엔코더-디코더 아키텍처를 설계하고, 굵기에서 세밀한 예측을 수행한다.
• 누락된 바vox를 생성하기 위해 밀도 높은 디컨볼루션 레이어와, 부차적인 바vox를 제거하기 위해 추상화 모듈(abstracting module)을 설계한다.
• SGC에서 고정 패턴 분할 전략을 사용하여 불규칙하고 패턴에 영향을 받지 않는 컨볼루션 필터를 학습시켜 일관된 희소성 패턴에 적응하도록 한다.
• SGC 이후 특징 취득 기법을 도입하여 그룹 간의 정보 흐름을 복원하고, 공간적으로 분리된 특징 그룹 간의 통신을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 특징을 그룹으로 공간 분할하면 3D CNN에서 계산량을 줄일 수 있을까, 동시에 의미 정확도를 유지할 수 있을까?
• RQ2 SGC는 3D 밀도 예측 작업에서 표준 그룹 컨볼루션과 비교해 효율성과 성능 면에서 어떻게 다른가?
• RQ3 SGC는 희소 컨볼루션 신경망과 효과적으로 조합되어 의미적 시나리오 완성의 속도를 높일 수 있는가?
• RQ4 SGC에서 무작위 분할 대비 고정 패턴 분할을 사용할 경우, 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ5 SGC는 불완전한 3D 시나리오에서 기하학적 및 의미적 정보를 어느 정도 유지하는가?

주요 결과

• SGC는 기준 희소 네트워크 대비 약 75% (3/4)의 계산량 감소를 이끌었고, SUNCG 데이터셋에서 의미적 시나리오 완성에 대해 IoU가 0.7% 감소하였다.
• 제안된 네트워크는 의미적 시나리오 완성에서 26.7%의 SOTA IoU를 달성하였으며, NYU 데이터셋에서 시나리오 완성에 대해 56.2%의 IoU를 기록하여 SSCNet보다 각각 2.0%와 1.1% 높은 성능을 보였다.
• 고정 패턴 SGC 분할 방법은 랜덤 분할 대비 우수하거나 동등한 성능을 보였으며, SUNCG와 NYU 벤치마크에서 일관된 향상이 관찰되었다.
• 시각화 결과 SGC 필터는 표준 SCN 필터보다 더 날카운 히스토GRAM을 보이며, 그룹 간의 희소성 패턴에 대한 학습된 불변성을 나타낸다.
• 고정 패턴 SGC 하에서 모델은 불규칙하고 X자 형태의 컨볼루션 커널을 학습하며, 특징 처리 중 일관된 희소성 패턴에 부합한다.
• NYU 데이터의 애너테이션 노이즈와 정렬 오차가 존재하더라도 SGC는 강력한 성능 유지를 보였으며, 실제 데이터의 완벽하지 않은 특성에 대해 강건함을 시사한다.