[논문 리뷰] Move to See Better: Towards Self-Supervised Amodal Object Detection.

Zhaoyuan Fang, Ayush Jain외 3명|arXiv (Cornell University)|2020. 11. 30.

Advanced Neural Network Applications참고 문헌 41인용 수 6

한 줄 요약

이 논문은 3차원 환경에서 이동하는 에이전트로부터의 다중시점 RGB-D 데이터를 활용하여, 인간의 주석 없이도 새로운 시나리오에서 2D 객체 검출기의 성능을 향상시키는 자기지도 학습 프레임워크를 제안한다. 확신 있는 2D 검출 결과를 3차원 공간으로 역투영하고, 비지도 3차원 세분화를 수행한 후 재투영하여 가짜 레이블을 생성함으로써, 인간 주석이 없이도 검출기 성능을 크게 향상시킨다. 이는 실내 및 실외 데이터셋에서 이전의 자기지도 학습 방법들을 능가한다.

ABSTRACT

Humans learn to better understand the world by moving around their environment to get more informative viewpoints of the scene. Most methods for 2D visual recognition tasks such as object detection and segmentation treat images of the same scene as individual samples and do not exploit object permanence in multiple views. Generalization to novel scenes and views thus requires additional training with lots of human annotations. In this paper, we propose a self-supervised framework to improve an object detector in unseen scenarios by moving an agent around in a 3D environment and aggregating multi-view RGB-D information. We unproject confident 2D object detections from the pre-trained detector and perform unsupervised 3D segmentation on the point cloud. The segmented 3D objects are then re-projected to all other views to obtain pseudo-labels for fine-tuning. Experiments on both indoor and outdoor datasets show that (1) our framework performs high-quality 3D segmentation from raw RGB-D data and a pre-trained 2D detector; (2) fine-tuning with self-supervision improves the 2D detector significantly where an unseen RGB image is given as input at test time; (3) training a 3D detector with self-supervision outperforms a comparable self-supervised method by a large margin.

연구 동기 및 목표

• 인상적인 인간 주석 없이도 새로운 시나리오와 시점으로의 2D 객체 검출기 일반화 능력을 향상시키기 위해.
• 단일 이미지가 아닌 다중시점 순서로 간주함으로써, 다양한 시점 간의 객체 지속성 특성을 활용하기 위해.
• 3차원 기하학과 다중시점 일致성을 활용하여 고품질의 가짜 레이블을 생성하는 자기지도 학습 프레임워크를 개발하기 위해.
• 자기지도 3차원 세분화 및 가짜 레이블링이 새로운 상황에서 2D 객체 검출 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 3차원 환경에서 이동하는 에이전트의 RGB-D 이미지에서 확신 있는 검출 결과를 생성하기 위해 사전 훈련된 2D 객체 검출기를 사용한다.
• 확신 있는 2D 검출 결과는 깊이 정보를 이용해 3차원 공간으로 역투영되어, 초기 3차원 객체 후보군을 형성한다.
• 점군에 대해 비지도 3차원 세분화를 수행하여, 역투영된 검출 결과를 일관된 3차원 객체로 정밀화하고 군집화한다.
• 세분화된 3차원 객체는 모든 다른 시점으로 재투영되어, 자기지도 학습을 위한 일관된 가짜 레이블을 생성한다.
• 자기지도 학습 미세조정 과정은 다중시점 일치성을 활용하여 검출기의 강인성과 새로운 시나리오로의 일반화 능력을 향상시킨다.
• 생성된 가짜 레이블을 사용하여 3차원 검출기를 훈련함으로써, 기존 자기지도 학습 방법들과 비교해 최신 기술 수준의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 이동하는 에이전트로부터의 다중시점 RGB-D 데이터는 인간 주석 없이도 새로운 시나리오에서 2D 객체 검출기의 일반화 능력을 향상시키는가?
• RQ2 역투영된 2D 검출 결과에 대한 비지도 3차원 세분화는 자기지도 학습을 위한 고품질 가짜 레이블 생성에 얼마나 효과적인가?
• RQ3 다중시점 가짜 레이블을 활용한 자기지도 미세조정은 새로운 RGB 이미지에서 2D 객체 검출 성능을 얼마나 향상시키는가?
• RQ4 3차원 세분화 품질과 검출기 정확도 측면에서 기존 자기지도 학습 방법들과 비교해 본 논문의 방법은 어떠한가?
• RQ5 이 프레임워크는 최소한의 감독 하에 다양한 실내 및 실외 환경으로 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 원시 RGB-D 데이터와 사전 훈련된 2D 검출기를 기반으로 하여, 감독 없이도 높은 품질의 3차원 세분화를 달성하며, 기하학적 추론 능력이 뛰어나다는 것을 입증한다.
• 새로운 RGB 이미지에서 테스트한 결과, 자기지도 미세조정이 2D 객체 검출기 성능을 크게 향상시켜, 새로운 시점으로의 일반화 능력이 뛰어나다는 것을 보여준다.
• 비슷한 자기지도 기반 기준 모델보다 3차원 검출 성능에서 뛰어난 성능을 보이며, 3차원 세분화를 통한 다중시점 가짜 레이블링의 효과성을 입증한다.
• 프레임워크는 실내 및 실외 데이터셋 모두에서 잘 일반화되어, 도메인 이동에 대한 강인함을 확인한다.
• 다양한 시점 간의 객체 지속성 활용이 일관된 가짜 레이블 생성을 가능하게 하여, 인간 주석 데이터 없이도 검출기 정확도 향상에 기여한다.