[논문 리뷰] Self-supervisory Signals for Object Discovery and Detection

Etienne Pot, Alexander Toshev외 1명|ArXiv.org|2018. 06. 08.

Robot Manipulation and Learning참고 문헌 22인용 수 7

한 줄 요약

이 논문은 라벨이 없는 이미지에서 자율주행 로봇의 자기 운동과 깊이 인식을 활용한 자기지도 학습 프레임워크를 제안하여, 클러스터링을 통한 비지도 객체 탐지 및 최소한의 인간 레이블링을 필요로 하는 소수 샘플 객체 탐지 기반으로 객체 표현을 학습한다. 이 방법은 소수 샘플 탐지에서 평균 정밀도(mAP) 0.46을 달성하였으며, 동일한 데이터에 대해 미세조정된 표준 탐지기(0.38 mAP)보다 유의하게 뛰어나다.

ABSTRACT

In robotic applications, we often face the challenge of discovering new objects while having very little or no labelled training data. In this paper we explore the use of self-supervision provided by a robot traversing an environment to learn representations of encountered objects. Knowledge of ego-motion and depth perception enables the agent to effectively associate multiple object proposals, which serve as training data for learning object representations from unlabelled images. We demonstrate the utility of this representation in two ways. First, we can automatically discover objects by performing clustering in the learned embedding space. Each resulting cluster contains examples of one instance seen from various viewpoints and scales. Second, given a small number of labeled images, we can efficiently learn detectors for these labels. In the few-shot regime, these detectors have a substantially higher mAP of 0.22 compared to 0.12 of off-the-shelf standard detectors trained on this limited data. Thus, the proposed self-supervision results in effective environment specific object discovery and detection at no or very small human labeling cost.

연구 동기 및 목표

• 라벨이 거의 없거나 전혀 없는 라벨이 없는 훈련 데이터에서 로봇 환경에서의 새로운 객체 탐지를 해결하기 위해.
• 인간의 레이블 없이도 자기지도 학습을 통해 강력한 객체 표현을 학습하기 위해 자이로스코프 운동과 깊이 인식을 활용하기 위해.
• 학습된 표현 공간에서 객체 임베딩을 클러스터링하여 비지도 객체 탐지 기반으로 새로운 객체 인스턴스를 자동으로 발견하기 위해.
• 경계 상자 레이블링이 아닌 인스턴스 수준의 레이블링만 필요한 효율적인 소수 샘플 객체 탐지 방법을 개발하기 위해.
• 로봇 구현 시 인간의 레이블링 비용을 줄이기 위해 경계 상자 레이블링을 클러스터 수준의 레이블링으로 대체하기 위해.

제안 방법

• 로봇 탐색 중에 라벨이 없는 이미지에서 클래스 무관(region-agnostic) 영역 제안 네트워크(RPN)를 사용하여 객체 제안을 생성한다.
• 자기 운동과 깊이 신호를 활용하여 프레임 간 객체 제안 간의 대응 관계를 설정함으로써 자기지도 학습을 위한 양성 쌍(positive pairs)을 형성한다.
• 공유된 특징 공간에서 분류 가능한 객체 임베딩을 학습하기 위해 거리 기반 메트릭 학습 손실을 사용하여 Faster R-CNN 탐지기를 훈련한다.
• 학습된 임베딩 공간에서 클러스터링을 수행하여 동일한 객체의 여러 시각과 스케일을 그룹화함으로써 새로운 객체 인스턴스를 탐지한다.
• 두 가지 탐지 모델을 훈련한다: SSOD-Cluster는 Faster R-CNN 미세조정을 위해 클러스터 수준의 레이블을 사용하고, SSOD-Dist는 임베딩 기반의 최근접 이웃 분류를 사용한다.
• SSOD-Dist에서는 제안을 위한 고정된 RPN을 사용하여 훈련 비용을 줄이고, 최소한의 지도 학습으로도 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇 운동과 깊이 인식에서 유도된 자기지도 학습이 인간이 레이블링한 경계 상자 없이도 효과적인 객체 표현 학습을 가능하게 할 수 있는가?
• RQ2 학습된 임베딩 공간에서의 클러스터링이 라벨이 없는 데이터에서 새로운 객체 인스턴스를 자동으로 탐지할 수 있는가?
• RQ3 클러스터당 인스턴스 수준의 레이블링만 사용할 경우 소수 샘플 객체 탐지 성능이 경계 상자 레이블링보다 유의하게 향상될 수 있는가?
• RQ4 제안된 자기지도 탐지 모델의 성능은 동일한 소수의 라벨링 예제에 대해 미세조정된 표준 탐지기와 비교해 어떻게 되는가?
• RQ5 최근접 이웃 기반 탐지(SOOD-Dist)에서 실패 사례가 발생하는 주요 원인은 무엇이며, 이는 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• SSOD-Cluster는 테스트 세트에서 평균 정밀도(mAP) 0.46을 달성하였으며, 동일한 데이터에 대해 미세조정된 표준 Faster R-CNN(0.38 mAP)보다 뛰어난 성능을 보였다.
• 클래스당 5개의 훈련 예제만 있는 소수 샘플 환경에서 SSOD-Dist는 mAP 0.277을 기록하였고, 표준 Faster R-CNN는 0.256을 기록하여 낮은 지도 학습 환경에서도 뛰어난 일반화 능력을 입증하였다.
• 클래스당 단일 훈련 예제가 주어졌을 때 SSOD-Dist는 mAP 0.226를 기록하였고, 표준 Faster R-CNN는 0.120을 기록하여 제로-샷 및 소수 샘플 탐지에서 상당한 성능 향상을 보였다.
• 이 방법은 환경당 평균 170개의 클러스터를 탐지하였으며, 각 클러스터는 별개의 객체 인스턴스를 나타내어 확장 가능하고 저비용의 객체 탐지 기능을 가능하게 하였다.
• SSOD-Dist의 실패 사례는 주로 유사한 형태, 질감, 색상 또는 공간적 근접성 덕분이었으며, 이는 잘못된 최근접 이웃 매칭을 유도하였다.
• 모든 5000장의 훈련 이미지가 레이블링된 경우 상한 성능은 0.40 mAP였으며, 이는 전체 지도 학습 조건에서 최적에 가까운 성능을 달성하고 있음을 시사한다.