[논문 리뷰] ILabel: Interactive Neural Scene Labelling

Shuaifeng Zhi, Edgar Sucar외 4명|arXiv (Cornell University)|2021. 11. 29.

Robotics and Sensor-Based Localization참고 문헌 35인용 수 18

한 줄 요약

iLabel는 초희박한 사용자 클릭을 통해 기하학, 색상, 의미를 동시에 표현하는 신경장(neural field)을 사용하여 상호작용적이고 실시간 3D 장면 레이블링 시스템을 제안한다. 사전 훈련 데이터가 필요 없으며, 단지 수십 번의 클릭으로도 사전 훈련된 모델을 뛰어넘는 높은 의미 레이블링 정확도를 달성한다. 특히 Replica와 같은 저자료 환경에서도 최신 기술을 초월하며, 개방 집합 레이블링과 손쉬운 불확실성 기반 애너테이션을 지원한다.

ABSTRACT

Joint representation of geometry, colour and semantics using a 3D neural field enables accurate dense labelling from ultra-sparse interactions as a user reconstructs a scene in real-time using a handheld RGB-D sensor. Our iLabel system requires no training data, yet can densely label scenes more accurately than standard methods trained on large, expensively labelled image datasets. Furthermore, it works in an 'open set' manner, with semantic classes defined on the fly by the user. ILabel's underlying model is a multilayer perceptron (MLP) trained from scratch in real-time to learn a joint neural scene representation. The scene model is updated and visualised in real-time, allowing the user to focus interactions to achieve efficient labelling. A room or similar scene can be accurately labelled into 10+ semantic categories with only a few tens of clicks. Quantitative labelling accuracy scales powerfully with the number of clicks, and rapidly surpasses standard pre-trained semantic segmentation methods. We also demonstrate a hierarchical labelling variant.

연구 동기 및 목표

• 최소한의 인간 상호작용으로 정확하고 밀도 높은 3D 의미 레이블링을 가능하게 하며, 특히 저자료 또는 새로운 환경에서의 적용을 목표로 한다.
• 대규모 사전 애너테이션 데이터셋에 의존하지 않고, 실시간으로 사용자가 제공한 클릭만으로 신경장 모델을 처음부터 훈련시켜야 한다.
• 사용자가 스캔 중에 새로운 카테고리를 즉각적으로 정의할 수 있는 개방 집합 의미 레이블링을 지원해야 한다.
• 실시간 시각 피드백과 예측의 상호작용적 수정을 통해 사용자 효율성을 향상시켜야 한다.
• 불확실성 기반의 픽셀 선택을 통한 손쉬운 레이블링을 탐색하여 수동 클릭의 부담을 줄여야 한다.

제안 방법

• 실시간 신경장 SLAM 시스템을 사용하여 다층퍼셉트론(MLP)을 처음부터 훈련시켜 기하학, 외관, 의미를 통합한 3D 표현을 구축한다.
• 关键 프레임 이미지에 대한 희박한 사용자 클릭을 통합하여 의미 예측을 감독하고, 이를 신경장의 인덕티브 바이어스를 통해 장면 전반에 걸쳐 전파한다.
• 실시간 예측 렌더링을 통해 사용자-중심 상호작용을 가능하게 하여 오류 수정과 새로운 클래스 추가를 허용한다.
• 의미 출력을 이진 트리 분지로 해석하여 계층적 레이블링 전략을 적용한다.
• 클릭 없이도 불확실성 샘플링을 사용하여 불확실한 픽셀을 자동으로 선택하는 자동 질의 생성 모드를 구현한다.
• 공간 연속성을 갖춘 시점 기반 신경 표현을 활용하여 기하학적 및 질감 영역 간의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 대규모 데이터셋 없이도 초희박한 사용자 상호작용으로 신경장 표현이 조밀한 의미 레이블링을 가능하게 할 수 있는가?
• RQ2 실시간 상호작용 시스템에서 사용자 클릭 수가 늘어남에 따라 정확도가 어떻게 변화하는가? 사전 훈련된 모델과 비교해보면 어떻게 되는가?
• RQ3 사용자가 스캔 중에 새로운 카테고리를 정의할 수 있는 개방 집합 의미 레이블링을 지원할 수 있는가?
• RQ4 불확실성 기반 자동 질의 생성은 수동 클릭 입력을 줄이는 데 얼마나 효과적인가? 동시에 높은 정확도를 유지하는가?
• RQ5 신경장의 인덕티브 바이어스는 복잡한 실제 세계 장면에서 정확하고 강력한 의미 전파를 가능하게 하는가?

주요 결과

• iLabel는 Replica 데이터셋에서 사전 훈련된 RGB-D 세그멘테이션 모델(SA-Gate)을 20개 클릭만으로도 뛰어넘었으며, 이는 7개의 장면만으로 미세조정 가능한 저자료 환경에서의 성능을 뛰어넘는 것이다.
• ScanNet 데이터셋에서는 약 50개 클릭에서 사전 훈련된 기준 모델과 유사한 정확도를 달성했고, 120개 클릭에서 20% 이상 뛰어난 성능을 보였다.
• 자동 질의 생성 모드는 수동 클릭과 유사한 성능을 달성했지만 약 240개의 클릭을 요구하여 직접 사용자 상호작용의 효율성을 입증한다.
• 무작위 픽셀 샘플링은 불확실성 기반 선택보다 성능이 열 劣하나, 더 많은 레이블이 추가될수록 그 차이가 커지며, 지능적인 샘플링의 중요성을 입증한다.
• iLabel는 통합된 신경장 표현 덕분에 유사한 상호작용 시스템인 SemanticPaint보다 더 정밀하고 완전한 세그멘테이션을 생성한다.
• 전체 실내 공간의 의미 메쉬 레이블링을 단 140개 클릭으로도 정확하게 수행할 수 있어, 복잡한 실제 환경에 대한 확장성을 입증한다.