[논문 리뷰] Online Object Representations with Contrastive Learning

Sören Pirk, Mohi Khansari외 3명|arXiv (Cornell University)|2019. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 13

한 줄 요약

이 논문은 레이블이 없는 단안 영상에서 분리된 객체 표현을 학습하는 자기지도 대비 학습 방법인 객체-대비 네트워크(Object-Contrastive Network, OCN)를 제안한다. 영상의 시간 연속성을 활용함으로써 OCN은 색상, 형태, 기능과 같은 객체 속성을 발견하며, 온라인 적응을 통해 2.2%의 객체 식별 오차를 기록한다—오프라인 기준선의 52.4% 오차보다 크게 뛰어나다.

ABSTRACT

We propose a self-supervised approach for learning representations of objects from monocular videos and demonstrate it is particularly useful in situated settings such as robotics. The main contributions of this paper are: 1) a self-supervising objective trained with contrastive learning that can discover and disentangle object attributes from video without using any labels; 2) we leverage object self-supervision for online adaptation: the longer our online model looks at objects in a video, the lower the object identification error, while the offline baseline remains with a large fixed error; 3) to explore the possibilities of a system entirely free of human supervision, we let a robot collect its own data, train on this data with our self-supervise scheme, and then show the robot can point to objects similar to the one presented in front of it, demonstrating generalization of object attributes. An interesting and perhaps surprising finding of this approach is that given a limited set of objects, object correspondences will naturally emerge when using contrastive learning without requiring explicit positive pairs. Videos illustrating online object adaptation and robotic pointing are available at: https://online-objects.github.io/.

연구 동기 및 목표

• 인간이 레이블링한 데이터가 없는 비정형 단안 영상에서 색상, 형태, 기능과 같은 분리된 시각적 및 의미적 객체 속성(예: 색상, 형태, 기능)을 자기지도 학습 방법으로 학습하는 것.
• 영상 추론 중에 객체 표현을 온라인으로 적응시킬 수 있도록 하여, 더 오래 객체를 관찰할수록 식별 정확도가 향상되도록 하는 것.
• 로봇이 자율적으로 데이터를 수집하고 제안된 방법을 사용해 학습하며, 인간의 감독 없이도 유사한 객체를 가리키는 데 일반화할 수 있도록 하는 것.
• 깊이, 추적, 명시적 감독 없이도 대비 학습만으로 영상에서 자연스럽게 객체 대응관계와 속성 구조를 발견할 수 있는지 탐구하는 것.
• 제로샷 객체 유사도 매칭을 통해 실제 로봇 환경에서 자기지도 표현의 강건성과 일반화 능력을 평가하는 것.

제안 방법

• 시간적 일관성에 기반해 자동으로 양성 쌍을 발견하는 자기지도 대비 학습을 통해, 지도된 객체 매칭이 필요 없이 메트릭 임베딩 공간을 훈련한다.
• 사전 훈련된 객체 존재 감지기(Objectness Detector)를 활용해 무작위 프레임에서 후보 객체를 추출한 후, 동일 객체의 임베딩을 시간에 따라 클러스터링하기 위해 대비 손실을 적용한다.
• 동일 객체의 임베딩을 서로 가까이 모으고, 다른 객체의 임베딩은 멀리 떼는 대비 손실 함수를 사용하는 시아미즈 네트워크 아키텍처를 적용한다.
• 진행되는 영상 시퀀스를 점차 늘리며 점진적으로 훈련하는 방식으로 온라인 훈련을 수행함으로써, 모델이 시간이 지남에 따라 표현을 정교화할 수 있도록 한다.
• 학습된 임베딩을 사용해 쿼리 객체를 장면 내 가장 유사한 대상과 매칭하기 위해 최근접 이웃 분류기를 사용한다.
• 깊이, 세그멘테이션 마스크, 추적 신호에 의존하지 않고 영상 프레임만을 입력으로 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 대비 학습만으로도 지도된 데이터 없이 비정형 단안 영상에서 색상, 형태, 기능과 같은 객체 속성을 발견하고 분리할 수 있는가?
• RQ2 진행되는 영상 노출을 통한 온라인 자기지도 학습이 오프라인 사전 훈련 대비 더 높은 객체 식별 정확도를 달성하는가?
• RQ3 이 방법을 사용해 자율적으로 데이터를 수집한 로봇이, 인간의 감독 없이도 주어진 예시와 유사한 객체를 가리키는 데 일반화할 수 있는가?
• RQ4 명시적인 양성 쌍 레이블 없이도 자기지도 대비 학습이 얼마나 잘 객체 대응관계를 발견할 수 있는가?
• RQ5 속성 분리와 일반화 능력 측면에서, 학습된 표현이 감독 기반 기준선과 ResNet50와 같은 표준 특징 추출기와 비교해 어떻게 성능을 내는가?

주요 결과

• OCN 모델은 200초 분량의 영상 시퀀스에 대해 온라인 훈련을 수행함으로써 오프라인 기준선의 52.4% 오차에서 2.2%로 객체 식별 오차를 감소시켰다.
• 선형 속성 분류에서 클래스 속성에 대해 10.70% 오차, 색상 속성에 대해 5.84% 오차, 이진 속성에 대해 13.76% 오차를 기록하였으며, ResNet50 기준선(14.82% 오차)을 초월하고 감독 기반 기준선에 가까워졌다.
• 최근접 이웃 분석 결과, OCN은 시각적(예: 색상) 및 의미적(예: 용기 기능) 차원에서 객체를 잘 정렬하여 밥그릇과 플라스틱 병, 컵을 올바르게 그룹화하였다.
• 모델은 실제 환경에서 로봇이 쿼리 객체와 유사한 객체를 가리키는 데 성공적으로 활용되었으며, 인간이 레이블링한 데이터 없이도 학습된 속성의 일반화를 보여주었다.
• 깊이, 추적, 명시적 감독 없이도 자기지도 대비 학습만으로 영상에서 객체 대응관계와 속성 분리를 자연스럽게 발견할 수 있었다.
• 감독 기반 OCN 기준선 대비 속성 분류에서 비감독 OCN 모델이 2–3% 내외로 높은 성능을 기록하여, 레이블이 없는 데이터임에도 강력한 일반화 능력을 보였다.