[논문 리뷰] Learning About Objects by Learning to Interact with Them

Martin Lohmann, Jordi Salvador외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 65인용 수 4

한 줄 요약

이 논문은 물리 엔진이 구현된 가상 환경(AI2thor)에서 물체를 밀고 조작하는 상호작용을 통해 시각 피드백을 이용해 물체를 탐지하고 그 기하학적 크기 및 상대 질량을 추정하는 자기지도 학습 에이전트를 제안한다. 이 모델은 외부 감독 없이도 새로운 물체 종류와 인스턴스에 대해 강력한 제로샷 일반화 성능을 보이며, 일부 자기지도 학습 설정에서 완전히 감독된 기준 모델을 능가한다.

ABSTRACT

Much of the remarkable progress in computer vision has been focused around fully supervised learning mechanisms relying on highly curated datasets for a variety of tasks. In contrast, humans often learn about their world with little to no external supervision. Taking inspiration from infants learning from their environment through play and interaction, we present a computational framework to discover objects and learn their physical properties along this paradigm of Learning from Interaction. Our agent, when placed within the near photo-realistic and physics-enabled AI2-THOR environment, interacts with its world and learns about objects, their geometric extents and relative masses, without any external guidance. Our experiments reveal that this agent learns efficiently and effectively; not just for objects it has interacted with before, but also for novel instances from seen categories as well as novel object categories.

연구 동기 및 목표

• 유아 학습을 영감으로 삼아 환경 상호작용을 통해 물체 탐지 및 물리적 속성 학습을 위한 자기지도 학습 프레임워크를 개발한다.
• 정답 박스나 질량 레이블이 전혀 없는 시각 피드백만을 사용해 물체의 기하학적 크기와 상대 질량을 학습할 수 있도록 한다.
• 학습 중에 볼 수 없었던 새로운 물체 종류와 인스턴스에 대한 일반화 성능을 평가한다.
• 상호작용에서 유도된 자기지도 학습이 노이즈가 있는 지도 신호를 가질지라도 완전히 감독된 방법보다 우월하거나 동등한 성능을 낼 수 있는지 조사한다.

제안 방법

• 에이전트는 AI2thor 환경에서 상호작용 지점과 힘을 선택하여 물체와 상호작용하며, CNN 기반 정책 네트워크를 사용해 상호작용 지점과 힘을 예측한다.
• 상호작용에서 얻은 시각 피드백을 이용해 자기지도 손실을 계산한다: 상호작용 지점 예측, 힘 추정, 일관되게 움직이는 점들을 잠재적 물체로 군집화한다.
• 우선순위 샘플링을 활용한 메모리 백을 사용해 학습을 안정화시키고 샘플 효율을 향상시킨다. 이는 우선순위 재생과 자율 학습에서 영감을 받았다.
• 마스크 지도 향상을 위해 슈퍼픽셀 후처리를 시각적 사전 지식으로 사용하며, 움직이는 점들을 단일 물체로 군집화하기 위해 대비 손실을 적용한다.
• 정답 박스나 질량 레이블이 없는 원시 관측 시퀀스만을 사용해 프레임워크를 엔드 투 엔드로 학습한다.
• 물리 엔진을 활용해 질량, 마찰력, 탄성 등의 현실적인 물체 역학을 시뮬레이션하여 의미 있는 상호작용 피드백을 가능하게 한다.

실험 결과

연구 질문

• RQ1 에이전트가 외부 감독 없이 상호작용만으로 물체를 탐지하고 질량, 크기와 같은 물리적 속성을 추정할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 동일한 종류의 새로운 물체 인스턴스와 완전히 새로운 물체 종류에 대해 모델의 일반화 성능은 어느 정도인가?
• RQ3 노이즈가 있는 상호작용 시각 피드백에서 유도된 자기지도 학습이 이 설정에서 완전히 감독된 방법보다 우월하거나 동등한 성능을 낼 수 있는가?
• RQ4 우선순위 샘플링을 갖춘 메모리 백은 학습 안정성과 효율 향상에 어떤 역할을 하는가?
• RQ5 운동과 이동에 기반한 시각 피드백은 일관된 물체 부분 군집화에 얼마나 효과적인가?

주요 결과

• 모델은 새로운 물체 종류에 대해 물체 검출 및 질량 예측에서 평균 클래스 정확도 50.79%와 AP 11.85%를 기록하며, 비감독 기반 기준 모델보다 유의하게 뛰어난 성능을 보였다.
• 상호작용에서 유도된 시각 피드백을 사용한 자기지도 학습 방법이, 물체 탐지에 실패하는 옵티컬 플로우나 PCA 기반 방법보다 우수한 성능을 보였다.
• 모델는 강력한 제로샷 일반화 성능을 보였다: 기존에 봤던 종류의 새로운 인스턴스뿐 아니라, 학습 중에 전혀 볼 수 없었던 새로운 종류의 물체에 대해서도 잘 작동했다.
• 놀랍게도, 정답 마스크를 사용한 완전한 감독 학습(더 큰 ResNet-18 백본 사용)도 자기지도 학습 방법을 능가하지 못했으며, 이는 노이즈가 더 예측 가능하고 상호작용 가능한 물체에 집중하는 데 도움이 될 수 있음을 시사한다.
• 제거 실험 결과, 시각적 사전 지식(슈퍼픽셀)과 우선순위 샘플링을 갖춘 메모리 백이 성능 향상에 필수적임을 확인했으며, 이들을 제거하면 정확도가 크게 떨어졌다.
• 정성적 결과에서는 혼잡한 환경에서 여러 물체를 탐지하고 경량, 중량, 고밀도 물체를 합리적으로 구분할 수 있었지만, 매우 작은 또는 매우 큰 물체는 운동 신호가 낮아 탐지에 어려움을 겪었다.