[논문 리뷰] Convolutional Occupancy Networks

Songyou Peng, Michael Niemeyer외 3명|arXiv (Cornell University)|2020. 03. 10.

3D Shape Modeling and Analysis참고 문헌 57인용 수 13

한 줄 요약

이 논문은 3D 컨volution 레이어와 암묵적 점유도 디코더를 조합한 새로운 암묵적 3D 재구성 방법인 Convolutional Occupancy Networks를 제안한다. 이 방법은 확장 가능하고, 이동 등변성(translation-equivariant)이며, 세밀한 재구성 능력을 갖추어 복잡한 물체와 큰 실내 환경을 효과적으로 재구성할 수 있다. 3D 컨볼루션과 계층적 특징 학습을 활용함으로써, Matterport3D와 ScanNet를 포함한 합성 및 실제 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 예측 불가능한 시나리오와 새로운 물체 유형에 대해서도 잘 일반화된다.

ABSTRACT

Recently, implicit neural representations have gained popularity for learning-based 3D reconstruction. While demonstrating promising results, most implicit approaches are limited to comparably simple geometry of single objects and do not scale to more complicated or large-scale scenes. The key limiting factor of implicit methods is their simple fully-connected network architecture which does not allow for integrating local information in the observations or incorporating inductive biases such as translational equivariance. In this paper, we propose Convolutional Occupancy Networks, a more flexible implicit representation for detailed reconstruction of objects and 3D scenes. By combining convolutional encoders with implicit occupancy decoders, our model incorporates inductive biases, enabling structured reasoning in 3D space. We investigate the effectiveness of the proposed representation by reconstructing complex geometry from noisy point clouds and low-resolution voxel representations. We empirically find that our method enables the fine-grained implicit 3D reconstruction of single objects, scales to large indoor scenes, and generalizes well from synthetic to real data.

연구 동기 및 목표

• 기존의 암묵적 3D 재구성 방법은 완전히 연결된 네트워크 아키텍처로 인해 단순한 기하학적 형태와 단일 물체에 국한되어 있다는 한계를 해결하기 위해.
• 이동 등변성 및 국소적 특징 통합 등의 인덕티브 바이어스를 통합하여, 복잡한 실내 환경의 확장 가능한 3D 재구성 가능하게 하기 위해.
• 합성 데이터에서 실제 세계 데이터로의 일반화를 향상시키기 위해, 새로운 물체 유형과 실내 레이아웃을 포함하여.
• 계산적으로 타당한 수준을 유지하면서도 세밀한 기하학적 세부 정보를 갖춘 고해상도 재구성 성능을 달성하기 위해.

제안 방법

• 모델은 입력 데이터(점군 또는 볼륨 격자)를 처리하기 위해 3D 컨볼루션 인코더를 사용하여 국소적 및 전반적 맥락을 인코딩한 계층적 특징 맵을 생성한다.
• 3D 점유도 디코더는 선형 보간을 통해 학습된 특징 맵을 쿼리하여 임의의 3D 위치에서 점유도를 예측한다.
• 컨볼루션 연산이 이동에 대해 공간적 구조를 유지하므로 표현은 이동 등변성(translation-equivariant)을 갖는다.
• 2D 및 3D 특징 표현을 모두 지원하며, 3D 컨볼루션은 실제 세계 데이터에서 더 우수한 성능을 제공한다.
• 완전히 컨볼루션 기반의 슬라이딩 윈도우 추론 전략을 통해 다층 건물과 같은 대규모 환경의 재구성 가능하다.
• 희소한 점군 또는 볼륨 지도를 기반으로 이진 교차 엔트로피 손실을 사용하여 점유도 함수 예측을 위한 훈련 수행.

실험 결과

연구 질문

• RQ1 컨볼루션 연산은 완전히 연결된 네트워크를 초월하여 암묵적 3D 재구성의 표현력과 확장 가능성을 향상시킬 수 있는가?
• RQ2 이동 등변성을 통합할 경우 재구성 품질과 실제 세계 환경으로의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 통합 아키텍처는 단일 물체와 대규모 환경 재구성 모두에 효과적으로 대응할 수 있는가?
• RQ4 메모리 효율성, 정확도, 노이즈 및 도메인 이동에 대한 강건성 측면에서 2D와 3D 특징 표현 방식은 어떻게 비교되는가?

주요 결과

• ScanNet v2 데이터셋에서 모델의 3D 볼륨 버전은 Chamfer-L1 손실 0.077과 F-Score 0.886을 기록하여, SPSR(trimmed)를 포함한 모든 베이스라인을 능가했다.
• 64³ 해상도를 가진 3D 모델은 ScanNet에서 F-Score 0.886을 달성하여 노이즈와 도메인 이동에 매우 강건한 것으로 나타났다.
• Matterport3D 데이터셋에서 모델은 훈련 데이터와의 큰 도메인 이동에도 불구하고, 세밀한 기하학적 세부 정보와 일관된 실내 레이아웃을 갖춘 이층 건물을 성공적으로 재구성했다.
• 2D 평면 기반 버전은 더 높은 메모리 효율성을 보였고, 합성 데이터에서 양호한 성능를 보였지만, 3D 볼륨 버전은 실제 스캔 데이터로의 일반화 능력에서 더 뛰어났다.
• 추가 하이퍼파rameter(예: 커팅 trimming) 없이도 합성 및 실제 세계 벤치마크에서 최신 기술 수준의 성능를 달성했다.
• 정성적 결과에서는 SPSR와 달리 메쉬 닫기 아티팩트 없이 매끄럽고 밀도 있는 재구성을 생성함을 확인할 수 있었다.