[논문 리뷰] PanopticFusion: Online Volumetric Semantic Mapping at the Level of Stuff and Things

Gaku Narita, Takashi Seno외 2명|arXiv (Cornell University)|2019. 03. 04.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 16

한 줄 요약

PanopticFusion는 2D 패ノプ틱 예측과 공간 해시된 부피 지도를 융합하여 3D에서 스태프(예: 바닥, 벽)와 인스턴스(예: 의자, 사람)를 동시에 세분화하는 온라인, 부피 지도 기반 의미 맵핑 시스템을 제안한다. 이 시스템은 ScanNet v2에서 3D 의미 및 인스턴스 세분화에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 실시간 기능과 레이블이 부여된 메시 재구성 기능을 제공한다.

ABSTRACT

We propose PanopticFusion, a novel online volumetric semantic mapping system at the level of stuff and things. In contrast to previous semantic mapping systems, PanopticFusion is able to densely predict class labels of a background region (stuff) and individually segment arbitrary foreground objects (things). In addition, our system has the capability to reconstruct a large-scale scene and extract a labeled mesh thanks to its use of a spatially hashed volumetric map representation. Our system first predicts pixel-wise panoptic labels (class labels for stuff regions and instance IDs for thing regions) for incoming RGB frames by fusing 2D semantic and instance segmentation outputs. The predicted panoptic labels are integrated into the volumetric map together with depth measurements while keeping the consistency of the instance IDs, which could vary frame to frame, by referring to the 3D map at that moment. In addition, we construct a fully connected conditional random field (CRF) model with respect to panoptic labels for map regularization. For online CRF inference, we propose a novel unary potential approximation and a map division strategy. We evaluated the performance of our system on the ScanNet (v2) dataset. PanopticFusion outperformed or compared with state-of-the-art offline 3D DNN methods in both semantic and instance segmentation benchmarks. Also, we demonstrate a promising augmented reality application using a 3D panoptic map generated by the proposed system.

연구 동기 및 목표

• 무엇보다도, 아티팩트(스태프)와 세는 것이 가능한 물체(식별 가능한 것들)를 구분하는 실시간, 온라인 3D 의미 맵핑을 가능하게 하는 것.
• 공간 해시된 부피 지도를 사용하여 대규모, 고밀도 3D 재구성에 의미 레이블과 인스턴스 수준의 세분화를 달성하는 것.
• 통합 과정에서 3D 지도 검색을 통해 프레임 간 일致한 인스턴스 ID 유지하는 것.
• 한정된 지도에 저장된 정보를 기반으로 한 새로운 단항 잠재력 근사치를 사용한 온라인, 완전 연결된 CRF 기반 지도 정규화를 통한 패anoptic 레이블 정확도 향상

제안 방법

• 도착하는 RGB 프레임마다 2D 의미 및 인스턴스 세분화 출력을 융합하여 패노프틱 레이블(스태프의 클래스 레이블, 인스턴스의 ID)을 생성한다.
• 패노프틱 레이블과 깊이 측정값을 공간 해시된 부피 지도에 통합하면서, 3D 지도 검색을 통해 인스턴스 ID를 추적하여 일관성을 확보한다.
• 패노프틱 레이블에 대해 완전 연결된 CRF 모델을 적용하여 지도 정규화를 수행하며, 제한된 지도 저장 정보를 기반으로 한 새로운 단항 잠재력 근사치를 사용한다.
• CRF 추론 시간을 줄이기 위해 지도 분할 전략을 도입하여 정확도를 훼손하지 않으면서 실시간 처리를 가능하게 한다.
• 부피 통합을 위해 레이캐스팅을 사용하여 시나리오 크기나 객체 수에 관계없이 계산 효율성을 확보한다.
• 최종 부피 지도에서 색상이 부여되고 레이블이 부여된 3D 메시를 추출하여 후속 응용 프로그램에 활용한다.

실험 결과

연구 질문

• RQ1 실시간, 온라인 시스템이 2D 패노프틱 예측을 사용하여 3D에서 스태프의 의미 세분화와 인스턴스 수준의 세분화를 동시에 달성할 수 있는가?
• RQ2 프레임 간 레이블 변동이 있음에도 불구하고 3D 부피 지도에서 일관된 인스턴스 ID 추적은 어떻게 유지할 수 있는가?
• RQ3 비현실적인 계산 비용 없이 완전 연결된 CRF 정규화가 온라인 3D 맵핑에서 패노프틱 레이블 정확도를 향상시킬 수 있는가?
• RQ4 지도 정규화는 대규모, 온라인 3D 의미 맵핑에서 인식 성능 향상에 어느 정도 기여하는가?
• RQ5 결과로 생성된 3D 패노프틱 지도는 의미 기반 상호작용이 가능한 증강현실과 같은 실용적 응용을 지원할 수 있는가?

주요 결과

• PanopticFusion는 ScanNet v2에서 3D 의미 및 인스턴스 세분화 벤치마크에서 기존의 오프라인 3D DNN 방법들을 능가하거나 동등하게 성능을 달성했다.
• 지도 정규화는 거의 모든 클래스에서 인식 성능 향상을 크게 개선했으며, 공간적 맥락을 통해 패노프틱 레이블의 노이즈 감소가 눈에 띄게 관찰되었다.
• 시스템은 약 4.3Hz의 처리량을 기록했으며, 이는 Mask R-CNN 추론에 의해 제한되었고, 복잡한 처리에도 불구하고 실시간으로 작동했다.
• 지도 정규화의 계산 시간은 약 10초당 4.5초였으며, 카메라 인접 레이어 블록으로 처리 범위를 제한함으로써 더 줄일 수 있었다.
• 시스템은 대규모 장면을 성공적으로 재구성했고, 레이블이 부여된 3D 메시를 추출하여 자연스러운 가림막힘 및 충돌 효과를 제공하는 맥락 인식 증강현실 응용을 가능하게 했다.
• 3D 패노프틱 지도를 통해 간단한 기하 세분화를 통해 의자나 테이블과 같은 물체의 정확한 자세 추정이 가능했으며, 이는 의미 기반 로봇 및 AR 상호작용을 가능하게 했다.