[논문 리뷰] Slot Contrastive Networks: A Contrastive Approach for Representing Objects

Evan Racah, Sarath Chandar|arXiv (Cornell University)|2020. 07. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 5

한 줄 요약

슬롯 대비 네트워크(Slot Contrastive Networks, SCN)는 영상 시퀀스 내 시간적 운동을 활용하여 비지도적 객체 표현을 위한 대비 학습 접근법을 제안한다. 이 방법은 시간-대비 손실과 새로운 슬롯 다양성 손실을 통해 고유하고 구분 가능한 슬롯 표현을 학습하며, 이전의 자기지도 학습 방법에 비해 더 높은 슬롯 정확도와 모odularity를 확보하여 아타리 게임에서 최신 기준 성능을 달성한다.

ABSTRACT

Unsupervised extraction of objects from low-level visual data is an important goal for further progress in machine learning. Existing approaches for representing objects without labels use structured generative models with static images. These methods focus a large amount of their capacity on reconstructing unimportant background pixels, missing low contrast or small objects. Conversely, we present a new method that avoids losses in pixel space and over-reliance on the limited signal a static image provides. Our approach takes advantage of objects' motion by learning a discriminative, time-contrastive loss in the space of slot representations, attempting to force each slot to not only capture entities that move, but capture distinct objects from the other slots. Moreover, we introduce a new quantitative evaluation metric to measure how "diverse" a set of slot vectors are, and use it to evaluate our model on 20 Atari games.

연구 동기 및 목표

• 생성 모델이 배경 픽셀에 자원을 낭비하고 소형 또는 저대비 객체를 포착하지 못하는 비지도 객체 표현의 한계를 해결하기 위해.
• 기존의 대비 방법이 정적 이미지에 의존하는 데에 대비하여, 시간적 운동을 자기지도 신호로 활용해 객체 탐지에 기여하기 위해.
• 각 슬롯이 다른 슬롯과 구별되는 고유한 객체를 표현하도록 유도하기 위해 슬롯 대비 손실을 도입함으로써 슬롯의 분리도를 향상시키기 위해.
• 학습된 슬롯 표현의 다양성과 일관성을 평가하기 위한 새로운 정량적 지표인 슬롯 모듈러리티 및 밀도를 개발하기 위해.
• 슬롯 공간에서의 시간적 대비 학습이 정적 이미지 기반 접근법보다 더 강력하고 구조화된 객체 표현을 가능하게 함을 보여주기 위해.

제안 방법

• 모델은 영상 프레임을 처리하기 위해 CNN 인코더를 사용하며, 이후 특징 맵을 K개의 '슬롯 맵'으로 공간 분할하여 K개의 객체 슬롯을 생성한다.
• 각 슬롯 맵은 공유 가중치를 가진 서브넷(합성곱층 + MLP)을 통해 독립적으로 슬롯 벡터로 인코딩되어 파라미터 공유와 불변성을 달성한다.
• 연속된 프레임 간에 시간-대비 손실이 적용되며, 동일한 슬롯 간의 대비(양성 쌍)를 비연속적인 시간 스텝의 랜덤 쌍(음성 쌍)과 대비한다.
• 다른 슬롯 벡터 간의 이질성을 극대화하기 위해 슬롯 대비 손실이 도입되어, 다양성과 분리도를 증진시킨다.
• 손실 함수는 두 항으로 구성되며: (1) 슬롯의 주목도를 위한 시간-대비 손실, (2) 슬롯 다양성을 위한 슬롯 대비 손실, 양자 모두 InfoNCE 대비 목표를 사용한다.
• 모델은 아타리 게임의 영상 시퀀스에서 엔드 투 엔드로 훈련되며, 객체 위치의 선형 프로브 회귀 및 슬롯 품질 평가를 위한 새로운 지표를 통해 평가된다.

실험 결과

연구 질문

• RQ1 시간적 운동을 효과적으로 활용하여 감독 없이 분리된, 객체 중심의 표현을 학습할 수 있는가?
• RQ2 슬롯 대비 손실을 도입함으로써 시간-대비만을 사용하는 방법에 비해 학습된 객체 슬롯의 다양성과 고유성이 향상되는가?
• RQ3 제안된 슬롯 모듈러리티 및 밀도 지표는 객체 정위치 작업의 최종 성능과 어떻게 상관관계가 있는가?
• RQ4 슬롯 대비 손실이 분리도에 얼마나 기여하는가? 성능 향상에 필수적인가?
• RQ5 슬롯 공간에서의 대비 접근법이 생성 모델과 다른 자기지도 방법보다 영상 기반 객체 탐지에서 슈퍼어리어하는가?

주요 결과

• SCN는 20개의 아타리 게임 평균 슬롯 정확도 0.45를 기록하며, 랜덤-CNN(0.39)에 비해 유의미하게 높은 성능을 보이며, 감독 학습 모델과도 경쟁 가능하다.
• 다양성 손실을 도입함으로써 슬롯 모듈러리티는 0.0041에서 0.0045로 향상되었지만, 이는 미미한 개선이어서 분리도에 미치는 영향이 제한적임을 시사한다.
• 다양성 손실이 적용된 경우 슬롯 밀도는 0.0137로 향상되어 슬롯이 단일 객체에 더 잘 집중됨을 나타내지만, 여전히 감독 기반 기준에 비해 낮은 편이다.
• Freeway와 볼링과 같은 게임에서는 높은 슬롯 정확도(0.83 및 1.00 R²)를 기록하여 예측 가능한 운동에서 뛰어난 성능을 보였다.
• 박스링, 비디오파인볼과 같은 불규칙한 운동을 보이는 게임에서는 CSWM이 예측 가능한 역학에 의존해 어려움을 겪는 데 비해, SCN이 더 뛰어난 성능을 보였다.
• 제거 실험 결과, 슬롯 다양성 손실을 제거하면 밀도는 약간 향상되지만 정확도는 감소하여, 강한 분리도 효과는 없지만 약간의 정규화 효과는 있음을 시사한다.