[논문 리뷰] Semi-supervised Implicit Scene Completion from Sparse LiDAR

Pengfei Li, Yongliang Shi외 4명|arXiv (Cornell University)|2021. 11. 29.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

이 논문은 희소 LiDAR 포인트 클라우드에서 학습된 형태 임베딩을 조밀한 경계 제약 조건으로 도입하여, 자유 공간에서 진정한 SDF 값이 없더라도 안정적인 서피스 거리 함수 학습이 가능한 반감독형 암묵적 장면 완성 방법을 제안한다. 이 방법은 SemanticKITTI에서 51.0%의 IoU를 달성하여 SIREN을 크게 앞서며, 두 개의 병렬 헤드를 통해 암묵적 의미론적 완성도 가능하게 한다.

ABSTRACT

Recent advances show that semi-supervised implicit representation learning can be achieved through physical constraints like Eikonal equations. However, this scheme has not yet been successfully used for LiDAR point cloud data, due to its spatially varying sparsity. In this paper, we develop a novel formulation that conditions the semi-supervised implicit function on localized shape embeddings. It exploits the strong representation learning power of sparse convolutional networks to generate shape-aware dense feature volumes, while still allows semi-supervised signed distance function learning without knowing its exact values at free space. With extensive quantitative and qualitative results, we demonstrate intrinsic properties of this new learning system and its usefulness in real-world road scenes. Notably, we improve IoU from 26.3% to 51.0% on SemanticKITTI. Moreover, we explore two paradigms to integrate semantic label predictions, achieving implicit semantic completion. Code and models can be accessed at https://github.com/OPEN-AIR-SUN/SISC.

연구 동기 및 목표

• 공간적으로 변화하는 희소성과 신뢰할 수 없는 법선 추정으로 인해 기존 반감독형 SDF 학습이 실패하는 문제를 해결하기 위해.
• 정확한 자유 공간 내 SDF 값이 필요 없더라도, 학습된 형태 인식 조밀한 임베딩을 조건으로 삼아 암묵 함수 학습을 안정화하는 새로운 공식을 개발하기 위해.
• 희소 LiDAR 입력과 제한된 감독 정보만으로도 실제 도로 환경에서 암묵적 기하학적 및 의미론적 장면 완성을 가능하게 하기 위해.
• 암묵적 표현 프레임워크에 의미 이해를 통합하여 종단 간 암묵적 의미론적 완성을 달성하기 위해.

제안 방법

• 희소 포인트 클라우드에서의 분류적 형태 임베딩 학습을 위한 희소 컨볼루션 네트워크와 이러한 임베딩에 조건부로 SDF 값을 예측하는 생성 모델을 조합한 하이브리드 아키텍처를 사용한다.
• 형태 임베딩은 온-서피스 포인트(제로차수) 및 법선 방향(일阶) 제약 조건을 모두 캐릭터라이즈하는 조밀한 데이터 기반 경계 값으로 기능한다.
• 입력 좌표에서 형태 코드를 추출하기 위해 삼선형 또는 최근접 이웃 샘플링을 사용하여, 자유 공간에서 명시적 SDF 감독 없이도 SDF 예측이 가능하게 한다.
• 임베딩 기반 감독을 통해 에이코날 제약 조건을 완화함으로써, 잡음이 많거나 희소한 비표면 기준점에 대한 민감도를 감소시킨다.
• 의미론적 완성을 위한 두 가지 파라다임을 도입한다: (1) 암묵 공간으로의 K-NN 매핑을 통한 조밀한 의미 헤드, (2) 의미 레이블 필드를 위한 병렬 암묵 생성 헤드.
• SDF 예측에서 세밀한 기하학적 세부 정보를 유지하기 위해 고주파 수준의 위치 인코딩(L=10 등)을 사용한다.

실험 결과

연구 질문

• RQ1 SIREN과 같은 기존 방법이 희소성과 신뢰할 수 없는 법선으로 실패하는 희소 LiDAR 데이터에 대해 반감독형 암묵적 학습이 성공적으로 적용될 수 있는가?
• RQ2 자유 공간에서 진정한 SDF 값이 없더라도 형태 임베딩을 어떻게 활용하여 효과적인 조밀한 경계 제약 조건을 제공할 수 있는가?
• RQ3 학습된 형태 임베딩이 희소 LiDAR 환경에서 암묵적 장면 표현의 일관성과 완전성에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 암묵적 의미론적 장면 완성을 가능하게 하는가? 그리고 명시적 의미론적 완성 기준 모델과 비교해보면 어떻게 되는가?
• RQ5 위치 인코딩의 통합이 암묵적 장면 완성 품질에 상당한 영향을 미치는가?

주요 결과

• 논문의 방법은 SemanticKITTI 벤치마크에서 51.0%의 IoU를 달성하여 SIREN의 26.3%에 비해 뚜렷한 향상을 보였다.
• 제거 실험 결과, L=10 수준의 위치 인코딩과 원본 좌표를 포함할 경우 최고의 성능(51.020 IoU)을 기록했으며, 이를 생략할 경우 IoU가 40.431로 떨어졌다.
• 형태 임베딩의 t-SNE 시각화 결과에서 명확한 클러스터와 날카로운 경계가 관찰되어, 온-서피스 및 법선 제약 조건을 효과적으로 캐릭터라이즈하고 있음을 확인했다.
• SSC-A 및 SSC-B 헤드를 통한 암묵적 의미론적 완성은 각각 mIoU 20.2%와 18.0%를 달성했으며, JS3C-Net의 명시적 예측을 암묵 공간으로 매핑할 경우 더 높은 23.4%의 성능을 기록했다.
• 임의의 해상도에서의 메시 재구성 결과는 학습된 SDF 필드의 연속성을 보여주며, 고해상도에서도 일관된 기하학적 구조를 유지함을 확인했다.
• 정성적 결과에서는 SIREN에 비해 특히 희소 영역에서 더 완전하고 일관성 있는 재구성을 제공함을 확인했다.