[논문 리뷰] Fusion-Aware Point Convolution for Online Semantic 3D Scene Segmentation

Jiazhao Zhang, Chenyang Zhu외 2명|arXiv (Cornell University)|2020. 03. 13.

3D Shape Modeling and Analysis참고 문헌 36인용 수 4

한 줄 요약

이 논문은 실시간 RGB-D 재구성과 함께 온라인 세분화 3D 장면 분할을 위한 융합 인식 3D 포인트 컨볼루션 방법을 제안한다. 이는 전역 좌표 간격 트리와 국소 옥트리의 이중 트리 데이터 구조를 사용하여 시간 간격 간 상관관계를 활용하는 동적이고 효율적인 3D 컨볼루션을 가능하게 하며, ScanNet과 같은 벤치마크 데이터셋에서 10 FPS에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Online semantic 3D segmentation in company with real-time RGB-D reconstruction poses special challenges such as how to perform 3D convolution directly over the progressively fused 3D geometric data, and how to smartly fuse information from frame to frame. We propose a novel fusion-aware 3D point convolution which operates directly on the geometric surface being reconstructed and exploits effectively the inter-frame correlation for high quality 3D feature learning. This is enabled by a dedicated dynamic data structure which organizes the online acquired point cloud with global-local trees. Globally, we compile the online reconstructed 3D points into an incrementally growing coordinate interval tree, enabling fast point insertion and neighborhood query. Locally, we maintain the neighborhood information for each point using an octree whose construction benefits from the fast query of the global tree.Both levels of trees update dynamically and help the 3D convolution effectively exploits the temporal coherence for effective information fusion across RGB-D frames.

연구 동기 및 목표

• 증강된 RGB-D 재구성 중 실시간, 온라인 세분화 3D 장면 분할을 가능하게 하기 위해.
• 시간에 따라 변화하는 점진적으로 융합되는 3D 기하학적 구조에서 3D 컨볼루션을 수행하는 데 도전 과제를 해결하기 위해.
• 시간 간격 간 상관관계를 활용하여 3D 특징 학습과 분할 정확도를 향상시키기 위해.
• 동적 포인트 삽입, 근접성 질의, 표면 인식 컨볼루션을 지원하는 효율적인 메모리 내 데이터 구조를 설계하기 위해.

제안 방법

• 전역 좌표 간격 트리는 온라인 재구성된 3D 포인트의 점진적으로 증가하는 공간 조직을 유지하기 위해 사용되며, 빠른 포인트 삽입과 근접성 질의를 가능하게 한다.
• 각 포인트에 대해 전역 트리의 빠른 질의 기능을 활용해 국소 옥트리를 구축함으로써, 지오데식 거리 근사치를 사용한 포인트 기반 적응형 컨볼루션을 가능하게 한다.
• 융합 인식 포인트 컨볼루션은 전역 트리에서 확보한 포인트 대응 관계를 활용해 프레임 내 2D 특징과 프레임 간 3D 특징을 통합한다.
• 지오데식 거리 근사치에서 유도된 가중치 컨볼루션 커널을 사용함으로써 이웃 영역 선택을 표면 인식형으로 만든다.
• 동적 이중 트리 구조는 실시간 업데이트를 지원하며, 프레임 간에 걸쳐 정확도가 점진적으로 향상되는 세분화 레이블을 가능하게 한다.
• 온라인 분할과 실시간 RGB-D 재구성을 수행하는 상호작용 파이프라인에 통합된 시스템이다.

실험 결과

연구 질문

• RQ1 온라인 RGB-D 융합 중 시간에 따라 변화하는 3D 기하 구조에서 3D 컨볼루션을 효과적으로 수행하는 방법은 무엇인가?
• RQ2 빠른 근접성 질의를 지원하면서도 온라인 포인트 클라우드의 동적 유지가 가능한 데이터 구조는 무엇인가?
• RQ3 시간 간격 간 상관관계를 어떻게 활용하여 3D 특징 학습과 세분화 정확도를 향상시킬 수 있는가?
• RQ4 국소 옥트리 기반의 표면 인식 이웃 영역 선택이 유클리드 기반 방법에 비해 분할 성능을 얼마나 향상시키는가?
• RQ5 실시간, 온라인 세분화 3D 분할 시스템이 상호작용 가능한 프레임 레이트를 유지하면서도 최신 기술 수준의 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 ScanNet 벤치마크에서 온라인 및 오프라인 방법을 모두 앞서는 최신 기술 수준의 세분화 정확도를 달성한다.
• 시간이 지남에 따라 분할 정확도가 크게 향상되며, 의자나 테이블과 같은 복잡한 물체에서 시간 간 특징 융합로 인해 가장 두드러진 성과를 보인다.
• t-SNE를 통한 진화하는 포인트 특징의 시각화 결과, 융합 인식 포인트 컨볼루션은 임베딩 공간에서 더 분리 가능한 특징 임베딩을 생성한다.
• 국소 옥트리에서 유도된 지오데식 거리 근사치를 사용한 표면 인식 컨볼루션은 모든 수신 영역 크기에서 유클리드 기반 이웃 영역 선택보다 일관되게 뛰어난 성능을 보인다.
• 온라인 처리 시 10 FPS로 실행되며, 关键 프레임 기반 처리를 통해 더 높은 프레임 레이트를 달성하여 실시간 실행 가능성은 입증된다.
• 동적 전역-국소 트리 구조는 효율적인 포인트 삽입과 근접성 질의를 가능하게 하여, 대규모 온라인 재구성에 대한 방법의 확장성을 지원한다.