[논문 리뷰] Deep Octree-based CNNs with Output-Guided Skip Connections for 3D Shape and Scene Completion

Peng‐Shuai Wang, Yang Liu외 1명|arXiv (Cornell University)|2020. 06. 06.

3D Shape Modeling and Analysis참고 문헌 45인용 수 4

한 줄 요약

이 논문은 3D 형태 및 장면 복구를 위한 깊이 있는 옥트리 기반 CNN을 제안하며, 효율적인 옥트리 표현, 매우 깊은 네트워크(최대 70층), 그리고 입력 기하 구조를 유지하는 출력 유도 스킵 연결을 조합하여 최신 기술 수준의 성능을 달성한다. 이 방법은 노이즈와 불완전한 입력에 대해 더 높은 정확도와 강건성을 보이며 기준 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

Acquiring complete and clean 3D shape and scene data is challenging due to geometric occlusion and insufficient views during 3D capturing. We present a simple yet effective deep learning approach for completing the input noisy and incomplete shapes or scenes. Our network is built upon the octree-based CNNs (O-CNN) with U-Net like structures, which enjoys high computational and memory efficiency and supports to construct a very deep network structure for 3D CNNs. A novel output-guided skip-connection is introduced to the network structure for better preserving the input geometry and learning geometry prior from data effectively. We show that with these simple adaptions -- output-guided skip-connection and deeper O-CNN (up to 70 layers), our network achieves state-of-the-art results in 3D shape completion and semantic scene computation.

연구 동기 및 목표

• 부족한 촬영 시야와 음영으로 인해 손상되고 노이즈가 있는 3D 형태 및 장면 복구의 과제를 해결한다.
• 기존 3D CNN이 높은 메모리 및 계산 비용으로 인해 네트워크 깊이 제한을 겪는 문제를 극복한다.
• 새로운 스킵 연결 메커니즘을 설계하여 3D 복구에서 기하 구조 보존 및 구조적 사전 지식 학습을 향상시킨다.
• 간단하면서도 효과적인 깊이 있는 네트워크 아키텍처를 사용하여 3D 형태 및 의미적 장면 복구에서 최신 기술 수준의 성능을 달성한다.
• 비용이 많이 드는 최적화나 암시 함수 정밀화 없이도 끝에서 끝까지 단일 전방 전파를 통해 고품질 출력을 얻을 수 있도록 한다.

제안 방법

• 효율적인 3D 표현을 가능하게 하는 옥트리 기반 CNN 프레임워크(O-CNN)를 사용하여 높은 계산 및 메모리 효율성을 확보한다.
• 에코더는 특징 추출을, 디코더는 형태 복원을 담당하는 두 개의 깊은 잔차 네트워크를 갖춘 유사 U-Net 아키텍처를 적용한다.
• 디코더에서 생성된 노드를 입력 옥트리의 해당하는 기존 노드와 연결하는 출력 유도 스킵 연결을 도입한다. 이는 에코더가 아니라 입력 옥트리의 노드와 연결된다.
• 스킵 연결은 출력 구조에 따라 조정되어 입력 특징을 유지함으로써 기하학적 정확성과 노이즈 강건성을 확보한다.
• 잔차 블록을 사용하여 최대 70층까지 매우 깊은 네트워크를 구성하며, 계산 비용 증가 없이 깊이를 활용해 특징 학습을 향상시킨다.
• SGD, 가중치 감소, 학습률 감소를 사용한 표준 훈련을 적용하며, 최적화를 위해 카프 거리(Chamfer distance)를 주로 손실 함수로 사용한다.

실험 결과

연구 질문

• RQ1 새로운 스킵 연결을 갖춘 깊이 있는 옥트리 기반 CNN이 기존 3D 복구 방법보다 정확도와 강건성 측면에서 뛰어나게 성능을 냈는가?
• RQ2 출력 유도 스킵 연결이 표준 스킵 연결과 비교해 입력 기하 구조 보존 및 노이즈 처리에 얼마나 효과적인가?
• RQ3 옥트리 표현을 사용할 때 네트워크 깊이를 20~30층을 초과해 늘일 경우 3D 형태 및 장면 복구 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법이 표준 복구 외에도 메조 스켈레톤에서의 형태 복원과 같은 과제에 일반화 가능한가?
• RQ5 반복 최적화 없이도 암시 함수 기반 또는 오토인코더 기반 방법보다 더 나은 성능을 내는가?

주요 결과

• 제안된 방법은 3D 형태 복구 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 유사한 깊이와 파라미터 수를 가진 3DEPN 및 SGCNet과 비교해도 승리한다.
• 제거 실험 결과에서 전체 스킵 연결(l₂ 및 l₃)을 제거할 경우 성능 향상이 관찰되어, 출력 유도 스킵 연결이 표준 U-Net 스킵 연결보다 더 효과적임을 시사한다.
• 메조 스켈레톤 복원을 위한 의자 및 평면 데이터셋에서 중앙값 카프 거리는 각각 1.04 및 5.55로, P2P-Net(1.66 및 6.06)을 능가한다.
• 출력 포인트 클라우드는 균일하게 분포되어 있으며 예측된 법선을 포함하여 포isson 표면 복원을 통해 고품질 메쉬 복원이 가능하다. 이는 P2P-Net의 산발적인 출력과는 대조된다.
• 반복 최적화 없이도 직접적인 단일 전방 전파 복원이 가능하며, DeepSDF는 각 형태별로 비용이 많이 드는 잠재 코드 최적화가 필요하다.
• 최대 70층까지의 네트워크를 통해 높은 성능를 달성하였으며, 효율적인 옥트리 표현을 사용할 경우 깊은 아키텍처가 3D CNN에서 실현 가능하고 유익함을 입증한다.