[논문 리뷰] Move to See Better: Self-Improving Embodied Object Detection

Zhaoyuan Fang, Ayush Jain외 3명|arXiv (Cornell University)|2020. 11. 30.

Advanced Neural Network Applications참고 문헌 54인용 수 13

한 줄 요약

이 논문은 자기지도 학습 방법을 제안하여 몸체를 지닌 에이전트가 활동적으로 움직여 다각도 RGB-D 데이터를 수집하고, 시점 집약을 통해 고품질의 2D 및 3D 가짜 레이블을 생성하며, 인간의 레이블이 없는 상태에서 사전 학습된 검출기를 미세조정함으로써 2D 및 3D 객체 검출 성능을 향상시킵니다. 이 방법은 새로운 환경에서 검출기 성능을 크게 향상시키며, 기존의 자기지도 학습 3D 검출 방법을 능가하면서도, 새로운 객체 카테고리에 대해 약한 지도 학습을 가능하게 합니다.

ABSTRACT

Passive methods for object detection and segmentation treat images of the same scene as individual samples and do not exploit object permanence across multiple views. Generalization to novel or difficult viewpoints thus requires additional training with lots of annotations. In contrast, humans often recognize objects by simply moving around, to get more informative viewpoints. In this paper, we propose a method for improving object detection in testing environments, assuming nothing but an embodied agent with a pre-trained 2D object detector. Our agent collects multi-view data, generates 2D and 3D pseudo-labels, and fine-tunes its detector in a self-supervised manner. Experiments on both indoor and outdoor datasets show that (1) our method obtains high-quality 2D and 3D pseudo-labels from multi-view RGB-D data; (2) fine-tuning with these pseudo-labels improves the 2D detector significantly in the test environment; (3) training a 3D detector with our pseudo-labels outperforms a prior self-supervised method by a large margin; (4) given weak supervision, our method can generate better pseudo-labels for novel objects.

연구 동기 및 목표

• 실제 테스트 환경에서 인간이 레이블을 제공하지 않는 조건에서도 몸체를 지닌 에이전트가 객체 검출 성능을 향상시킬 수 있도록 하는 것.
• 자기지도 학습을 통해 다각도 RGB-D 관측치에서 고품질의 2D 및 3D 가짜 레이블을 생성하는 것.
• 활동적인 이동과 시점 집약이 정적 데이터 수집을 초월하여 검출 성능을 향상시킬 수 있음을 보여주는 것.
• 오직 한 개의 레이블이 있는 시점만 제공되는 조건에서 새로운 객체 카테고리에 대해 약한 지도 학습을 가능하게 하는 것.
• 기존 자기지도 학습 3D 검출 방법을 능가하면서도, 완전 지도 학습 기준선에 매우 가까운 성능을 달성하는 것.

제안 방법

• 에이전트는 무작위 탐색을 통해 RGB-D 데이터를 수집하고, 탐지된 객체의 다양한 시점으로 경로를 계획합니다.
• 집계된 RGB-D 데이터에 대해 3D 인스턴스 세그멘테이션을 수행하고, 3D 마스크를 재프로젝션하여 모든 시점에서 2D 가짜 레이블을 생성합니다.
• 사전 학습된 2D 검출기를 생성된 가짜 레이블을 사용하여 자기지도 학습 방식으로 미세조정합니다.
• 약한 지도 학습을 위해, 각 객체에 대해 오직 한 시점에서만 진짜 2D 레이블이 제공되며, 이 레이블이 모든 시점으로 전파되어 레이블 품질을 향상시킵니다.
• 이 방법은 객체 지속성과 시점 일관성을 활용하여 신뢰도가 높은 검출 결과를 다양한 시점으로 전파합니다.
• 근사적인 자기 운동 추정치를 사용하여 다각도 관측치를 정렬하고, 3D 재구성 및 세그멘테이션 정확도를 향상시킵니다.

실험 결과

연구 질문

• RQ1 몸체를 지닌 에이전트가 사전 학습된 검출기, 깊이 센서, 자기지도 학습만을 사용하여 테스트 환경에서 2D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 인간의 레이블 없이도 다각도 RGB-D 데이터를 사용하여 고품질의 2D 및 3D 가짜 레이블을 생성할 수 있는가?
• RQ3 제안된 방법을 사용한 자기지도 학습 3D 검출이 기존 자기지도 학습 3D 검출 기준선을 능가하는가?
• RQ4 약한 지도 학습(예: 한 개의 레이블이 있는 시점) 조건에서, SbM를 사용한 가짜 레이블이 새로운 객체 카테고리에 대해 더 나은 성능을 내는가?
• RQ5 이 방법은 실제 환경에서의 실질적인 액추에이터 노이즈와 도전적인 시점 조건에 대해 얼마나 강건한가?

주요 결과

• 이 방법은 다각도 RGB-D 데이터에서 고품질의 2D 및 3D 가짜 레이블을 생성하여, 실내 및 실외 데이터셋 모두에서 2D 검출기 성능을 크게 향상시킵니다.
• 생성된 가짜 레이블을 사용해 2D 검출기를 미세조정하면, 추가적인 레이블 없이도 테스트 환경에서 성능 향상이 뚜렷하게 발생합니다.
• SbM가 생성한 가짜 레이블을 기반으로 훈련된 자기지도 학습 3D 검출기는 CARLA 테스트 세트에서 기존 최고 수준의 자기지도 학습 방법인 LDLS보다 39.84 mAP@0.25 높은 성능을 기록합니다.
• SbM 가짜 레이블을 기반으로 훈련된 3D 검출기는 83.87 mAP@0.25를 달성했으며, 이는 완전 지도 학습 모델(85.06 mAP@0.25)과 1.19 포인트 이내에 머무는 수준입니다.
• 약한 지도 학습 조건(각 객체당 한 개의 레이블이 있는 시점)에서 SbM-ws 가짜 레이블을 기반으로 훈련된 검출기는 동일한 제한된 진짜 레이블 데이터로 미세조정된 검출기보다 뛰어난 성능을 보이며, 효과적인 데이터 증강이 가능함을 입증합니다.
• 이 방법은 오직 한 개의 레이블이 있는 시점만 제공된 조건에서, COCO에 포함되지 않은 새로운 객체 카테고리(예: Cushion, Nightstand)에 대해도 검출기를 성공적으로 학습시켰으며, 새로운 객체 클래스에 대한 강력한 일반화 능력을 보여줍니다.