[논문 리뷰] Gaussian Processes Semantic Map Representation

Maani Ghaffari, Lu Gan외 3명|arXiv (Cornell University)|2017. 07. 05.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 10

한 줄 요약

이 논문은 원시 픽셀 레이블을 사용하여 이元 GP 점령 지ap을 다중 클래스 의미 맵핑으로 확장하는 가우시안 프로세스 의미 맵(GPSM)을 제안한다. 커널 방법을 통해 공간적 및 비공간적 상관관계를 모델링함으로써 GPSM은 연속적이고 해상도 유연한 추론을 가능하게 하며, 희박하거나 노이즈가 많거나 잘못 레이블링된 데이터를 처리하는 데서 Semanctic OctoMap보다 뛰어난 성능을 보이며, NYU Depth V2 데이터셋에서 더 높은 AUC 스코어를 달성한다.

ABSTRACT

In this paper, we develop a high-dimensional map building technique that incorporates raw pixelated semantic measurements into the map representation. The proposed technique uses Gaussian Processes (GPs) multi-class classification for map inference and is the natural extension of GP occupancy maps from binary to multi-class form. The technique exploits the continuous property of GPs and, as a result, the map can be inferred with any resolution. In addition, the proposed GP Semantic Map (GPSM) learns the structural and semantic correlation from measurements rather than resorting to assumptions, and can flexibly learn the spatial correlation as well as any additional non-spatial correlation between map points. We extend the OctoMap to Semantic OctoMap representation and compare with the GPSM mapping performance using NYU Depth V2 dataset. Evaluations of the proposed technique on multiple partially labeled RGBD scans and labels from noisy image segmentation show that the GP semantic map can handle sparse measurements, missing labels in the point cloud, as well as noise corrupted labels.

연구 동기 및 목표

• RGBD 스캔에서 얻은 원시 픽셀 레이블 측정치를 통합하는 고차원적이고 연속적인 의미 맵 표현을 개발하기 위해.
• 이분류 점령 지도 기반 GP 모델링을 다중 클래스 분류로 확장하여 로봇 환경 이해를 향상시키기 위해.
• 가우시안 프로세스의 연속적 성질을 활용하여 어떤 해상제도 가능한 추론을 가능하게 하기 위해.
• 사전에 정의된 가정에 의존하지 않고 데이터에서 직접 구조적 및 의미적 상관관계를 학습하기 위해.
• 실세계 로봇 맵핑에서 희박한 측정치, 누락된 레이블, 노이즈가 있는 세그멘테이션 출력에 대한 강건성을 향상시키기 위해.

제안 방법

• 공간 좌표와 의미 레이블을 각각 입력 및 출력으로 사용하여 의미 맵핑을 다중 클래스 분류 문제로 공식화한다.
• 가우시안 프로세스 프레임워크 내에서 커널 방법을 사용하여 지도 포인트 간의 공간적 및 비공간적 상관관계(예: 색상, 강도)를 모델링한다.
• 전체 의미 맵을 추론하기 위해 마진형 우도를 최대화하는 공동 우도 함수를 사용하며, 이는 불확실성 인식 예측을 가능하게 한다.
• 관측치의 일부를 학습 데이터로 사용하고, 후행 평균과 분산을 통해 어떤 쿼리 위치에서나 예측을 수행한다.
• 비교를 위해 옥토맵 프레임워크를 의미 맵핑으로 확장한 의미 옥토맵(SOM)을 구현하였으며, 포인트 클라우드에서의 바vox 기반 레이블 집계를 사용한다.
• 맵 무결성을 유지하면서도 다운샘플링된 포인트 클라우드 사용을 정당화하기 위해 니크워시-샤논 샘플링 정리를 적용한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 기반 접근 방식은 희박하거나 완전하지 않은 측정치로부터도 3차원 공간 전역에서 임의의 해상도로 연속적인 의미 레이블을 추론할 수 있는가?
• RQ2 노이즈가 많거나 잘못 분류된 이미지 세그멘테이션 레이블을 가진 상황에서 GPSM은 바vox 기반 의미 옥토맵(SOM)에 비해 어떻게 성능을 발휘하는가?
• RQ3 GPSM은 사전 가정 없이 원시 데이터에서 공간적 및 비공간적 상관관계(예: 색상, 텍스처)를 얼마나 잘 학습하고 활용할 수 있는가?
• RQ4 입력 레이블이 손상되었을 때조차도 공간적 상관관계를 활용하여 레이블 전파의 잘못된 양성 결과를 효과적으로 줄일 수 있는가?
• RQ5 전통적인 옥토맵 기반 방법에 비해 GPSM의 계산 비용은 입력 크기와 차원 수에 따라 어떻게 증가하는가?

주요 결과

• GPSM은 NYU Depth V2 데이터셋의 모든 테스트 프레임에서 의미 옥토맵(SOM)보다 더 높은 AUC 스코어를 기록하였으며, 특히 965번 프레임에서 최고 성능(0.8612 vs. 0.77456)을 보였다.
• 282번 프레임에서 GPSM은 노이즈가 많고 잘못된 양성 결과가 많은 세그멘테이션 레이블에도 불구하고 AUC 0.7192를 기록하여 SOM의 0.68402를 초월했다.
• GPSM은 공간적 상관관계를 활용하여 누락된 레이블을 성공적으로 추론하고, 특히 큰 공간적 거리 간에 유사한 레이블을 가진 영역에서 잘못 분류된 관측치의 영향을 줄였다.
• 희박한 측정치와 레이블 노이즈에 대해 강건성을 보이며, 모든 네 개의 테스트 프레임에서 SOM에 비해 일관된 성능 향상을 보였다.
• GPSM의 연속적 성질 덕분에 고정 격자 제약 없이 고해상도 추론이 가능했으며, 이는 이산적인 바vox 기반 SOM과 대비된다.
• GPSM은 비공간적 입력(예: 색상, 강도)을 임의로 처리할 수 있음을 검증하였지만, 주요 비교에서는 공간적 입력만 사용하였다.