[논문 리뷰] Learning Multi-View Aggregation In the Wild for Large-Scale 3D Semantic Segmentation

Damien Robert, Bruno Vallet외 1명|arXiv (Cornell University)|2022. 04. 15.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

이 논문은 색상화, 메시 생성 또는 깊이 맵 없이도 다중 이미지와 3D 점군에서 특징을 융합하기 위해 3D 점의 시야 조건을 활용하는 엔드 투 엔드 학습 가능한 다중 시점 집계 모델을 제안한다. 이는 원시 스캔, 이미지 및 카메라 자세만을 사용하여 S3DIS(74.7 mIoU)와 KITTI-360(58.3 mIoU)에서 최신 기준 성능을 달성한다.

ABSTRACT

Recent works on 3D semantic segmentation propose to exploit the synergy between images and point clouds by processing each modality with a dedicated network and projecting learned 2D features onto 3D points. Merging large-scale point clouds and images raises several challenges, such as constructing a mapping between points and pixels, and aggregating features between multiple views. Current methods require mesh reconstruction or specialized sensors to recover occlusions, and use heuristics to select and aggregate available images. In contrast, we propose an end-to-end trainable multi-view aggregation model leveraging the viewing conditions of 3D points to merge features from images taken at arbitrary positions. Our method can combine standard 2D and 3D networks and outperforms both 3D models operating on colorized point clouds and hybrid 2D/3D networks without requiring colorization, meshing, or true depth maps. We set a new state-of-the-art for large-scale indoor/outdoor semantic segmentation on S3DIS (74.7 mIoU 6-Fold) and on KITTI-360 (58.3 mIoU). Our full pipeline is accessible at https://github.com/drprojects/DeepViewAgg, and only requires raw 3D scans and a set of images and poses.

연구 동기 및 목표

• 특수 센서나 사전 처리 단계에 의존하지 않고 대규모 환경에서 다중 시점 이미지와 3D 점군을 융합하는 문제를 해결한다.
• 이미지 선택에 히ュ리스틱을 사용하고 특징 집계에 균일한 풀링을 적용하는 기존의 하이브리드 2D/3D 방법의 한계를 극복한다.
• 기본적으로 원시 3D 점군과 알려진 자세를 가진 공유포지션된 이미지만을 사용하여 대규모 실내 및 실외 환경의 효과적인 세분화를 가능하게 한다.
• 임의의 수의 시점에 대해 처리할 수 있는 확장 가능한 GPU 가속 파이프라인을 개발한다.
• 시야 조건 자체만으로도 효과적인 어텐션 기반 특징 집계가 가능하며, 어텐션 스코어링에 기하학적 또는 빛의 조건 특징을 포함한 방법보다 우수한 성능을 내는 것을 입증한다.

제안 방법

• 깊이 맵, 메시 생성 또는 색상화가 필요 없도록 3D 점군과 카메라 자세만을 사용하여 점-픽셀 매핑을 구축한다.
• 각 3D 점의 다중 이미지에서의 시야 조건(예: 거리, 각도)을 기반으로 학습 가능한 어텐션 메커니즘을 사용해 2D 특징을 선택하고 집계한다.
• 표준 2D 및 3D 백본 네트워크 사이에 어텐션 기반 집계 모듈을 플러그인처럼 통합하여 엔드 투 엔드 학습을 가능하게 한다.
• 3D 점들을 구형 또는 실린더형 이웃 영역으로 그룹화하고 가시성 기반으로 관련 이미지를 할당하는 동적 배치 전략을 구현한다.
• 각 시점에서의 특징 흐름을 제어하기 위해 게이팅 메커니즘을 적용하여 불필요하거나 노이즈가 많은 입력을 억제할 수 있도록 한다.
• 비교를 위해 특징별 최대 풀링을 베이스라인으로 사용하지만, 시야 조건 기반의 학습 가능한 어텐션이 더 뛰어난 성능을 낸다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 어떤 기하학적 또는 빛의 조건 특징 없이도 어텐션 스코어링에 기하학적 또는 빛의 조건 특징을 포함한 방법보다 우수한 성능을 내기 위해 시야 조건 자체만으로도 효과적인 다중 시점 특징 집계가 가능할 수 있는가?
• RQ2 고정된 수의 시점에서 특징을 균일하게 풀링하는 히ュ리스틱 방법에 비해 학습 가능한 어텐션 메커니즘이 특징 융합 성능을 얼마나 향상시킬 수 있는가?
• RQ3 색상화를 피하고 원시 RGB 이미지와 3D 스캔만을 사용할 경우, 하이브리드 2D/3D 모델의 성능은 순수 3D 모델과 비교해 어떻게 되는가?
• RQ4 이미지 해상도, 3D 점군 해상도, 그리고 2D 데이터셋에서의 사전 학습이 대규모 3D 세분화에 어떤 영향을 미치는가?
• RQ5 메시 재구성 또는 진짜 깊이 맵이 필요 없이도 제안된 방법이 S3DIS나 KITTI-360와 같은 실제 데이터셋에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 6겹 S3DIS 벤치마크에서 74.7 mIoU의 새로운 최신 기준 성능을 달성하여 3D 전용 및 하이브리드 2D/3D 모델을 모두 초월한다.
• KITTI-360에서 이 방법은 테스트 세트에서 58.3 mIoU를 기록하여 색상화된 점군이나 깊이 맵을 사용하지 않고도 새로운 최신 기준 성능을 달성한다.
• 오직 이미지 특징과 집계 모듈만을 사용하는 순수 2D 기반 모델이 S3DIS에서 심지어 XYZRGB 베이스라인을 초월하여 성능을 냄을 보여주며, 이미지가 3D 세분화에 있어 가치가 있음을 입증한다.
• 이미지 해상도를 2배로 감소시키면 성능에 심각한 하락이 발생하여 고해상도 이미지 특징이 최적의 결과를 내기 위해 필수적임을 시사한다.
• 오픈 액세스 2D 데이터셋에서 2D 인코더를 사전 학습하면 최대 7포인트의 mIoU 향상이 가능하여 대규모 2D 애너테이션을 활용하는 데서 오는 이점이 있음을 강조한다.
• 게이팅 메커니즘을 제거하거나 하나의 특징 그룹만 사용할 경우 성능이 각각 3점과 4.8점 감소하여 적응형 특징 선택과 다중 해상도 처리의 중요성을 보여준다.