[논문 리뷰] Quantifying point cloud realism through adversarially learned latent representations

Larissa T. Triess, David Peter외 2명|arXiv (Cornell University)|2021. 09. 24.

3D Shape Modeling and Analysis참고 문헌 21인용 수 2

한 줄 요약

이 논문은 적대적으로 학습된 잠재 표현을 사용하여 레이저 라이다(point cloud)의 국소적 현실성(local realism)을 평가하는 새로운, 주석이 없는 메트릭을 제안한다. 계층적 특징 학습과 적대적 정규화를 통해 프oxy 분류 작업을 훈련함으로써, 국소 영역에 대해 현실적, 합성, 기타 등급을 할당함으로써 현실성 수준 간 신뢰성 있는 보간(interpolation)과 태스크에 특화된 레이블 없이 효과적인 이상치 탐지가 가능하다.

ABSTRACT

Judging the quality of samples synthesized by generative models can be tedious and time consuming, especially for complex data structures, such as point clouds. This paper presents a novel approach to quantify the realism of local regions in LiDAR point clouds. Relevant features are learned from real-world and synthetic point clouds by training on a proxy classification task. Inspired by fair networks, we use an adversarial technique to discourage the encoding of dataset-specific information. The resulting metric can assign a quality score to samples without requiring any task specific annotations. In a series of experiments, we confirm the soundness of our metric by applying it in controllable task setups and on unseen data. Additional experiments show reliable interpolation capabilities of the metric between data with varying degree of realism. As one important application, we demonstrate how the local realism score can be used for anomaly detection in point clouds.

연구 동기 및 목표

• 자율주행 차량에서 사용되는 합성 데이터를 포함하여, 레이저 라이다(point cloud)의 현실성에 대한 정량적이고 확장 가능한 평가 방법의 부족을 해결하기 위해.
• 지표의 정답 주석 또는 후속 태스크 성능이 필요 없이 현실성 점수를 할당하는 메트릭을 개발하기 위해.
• 국소적이고 공간적으로 제약된 특징 학습을 통해 레이저 라이다(point cloud) 내 이상치 및 센서 아티팩트를 국소화하기 위해.
• 데이터셋에 특화된 특징 인코딩을 방지함으로써, 새로운 데이터 분포에 대해 강건한 성능을 확보하기 위해.
• 인간 판단과 상관관계가 있으며 합성과 현실 데이터 사이의 보간을 지원하는 신뢰할 수 있는 연속적인 현실성 측정치를 제공하기 위해.

제안 방법

• 메트릭은 실제, 합성(CARLA), GAN으로 생성된 레이저 라이다(point cloud)에서 관련 특징을 학습하기 위해 프oxy 분류 작업을 사용한다.
• 계층적 특징 세트 학습은 표현을 국소적 공간 영역으로 제한하여 국소적 현실성 평가를 가능하게 한다.
• 적대적 훈련 구성 요소는 네트워크가 데이터셋에 특화된 특징을 인코딩하는 것을 방지하여 일반화를 촉진한다.
• 모델은 각 쿼리 포인트에 대해 세 개의 클래스 확률(실제, 합성, 기타)을 출력하여 국소적 현실성 점수를 형성한다.
• 공유 인코더 브랜치를 가진 시아미즈 유사 네트워크 아키텍처와 디세크리미네이터를 사용하여 분리된, 현실성 중심의 특징을 강제한다.
• 메트릭은 포인트 클라우드 패치에서 엔드 투 엔드로 훈련되고, 전체 시나리오 평가를 위해 슬라이딩 윈도우 추론을 통해 적용된다.

실험 결과

연구 질문

• RQ1 주석이나 정답이 없이도 자기지도(self-supervised) 메트릭이 국소적 현실성을 신뢰성 있게 측정할 수 있는가?
• RQ2 실제, 합성, 노이즈가 있는 데이터 등 다양한 현실성 수준 간 메트릭의 보간 성능은 어떠한가?
• RQ3 메트릭은 볼 수 없는 데이터셋에서도 이상치 및 센서 아티팩트를 탐지할 수 있는가?
• RQ4 적대적 정규화가 현실성과 관련된 특징를 유지하면서 데이터셋에 특화된 편향을 효과적으로 억제하는가?
• RQ5 재구성 기반 메트릭(Epoch Mean Distance, EMD)이나 Chamfer Distance (CD)에 비해 메트릭이 인간의 현실성 인식을 얼마나 잘 반영하는가?

주요 결과

• 메트릭은 CARLA 레이저 라이다(point cloud)에서 노이즈 수준이 증가함에 따라 점수가 부드럽게 전이되는 신뢰할 수 있는 보간 성능을 보였다.
• 낮은 노이즈 수준(약간 cm)에서는 합성 CARLA 데이터가 실제 데이터보다 더 현실적으로 평가되었으며, 이는 노이즈가 현실성에 필요함을 시사한다.
• 고노이즈 수준(σ > 10 cm)에서는 Real 점수는 크게 감소하고 Misc 점수는 증가하여 구조 손실과 현실적이거나 합성로 분류되지 못함을 나타낸다.
• PandaSet와 같은 새로운 데이터셋에서도 이상치를 성공적으로 국소화하였으며, 인위적 가우시안 노이즈 영역과 극단적인 고도 변화 영역을 포함한다.
• 인간의 현실성 인식과의 상관관계에서 재구성 기반 메트릭(Epoch Mean Distance, EMD) 및 Chamfer Distance (CD)보다 메트릭이 뛰어난 성능을 보였다.
• 적대적 훈련이 효과적으로 데이터셋에 특화된 특징를 억제하여, 새로운 데이터 분포에 대한 강건한 일반화를 가능하게 하였다.