[논문 리뷰] Generalization and Robustness Implications in Object-Centric Learning

Andrea Dittadi, Samuele Papa외 4명|arXiv (Cornell University)|2021. 07. 01.

Advanced Neural Network Applications참고 문헌 77인용 수 5

한 줄 요약

이 논문은 다중 객체 데이터셋 다섯 개에서 최신 비지도 학습 모델을 훈련시켜 분포 이탈 상황에서의 일반화 및 내성에 대해 객체 중심 표현 학습을 조사한다. 객체 중심 모델은 다운스트림 작업에서 잘 일반화되며 개별 객체 수준의 OOD 이탈에 대해 안정성을 유지하지만, 전반적인 시나리오 수준의 분포 이탈 상황에서는 모델과 이탈 유형에 따라 성능이 크게 떨어진다.

ABSTRACT

The idea behind object-centric representation learning is that natural scenes can better be modeled as compositions of objects and their relations as opposed to distributed representations. This inductive bias can be injected into neural networks to potentially improve systematic generalization and performance of downstream tasks in scenes with multiple objects. In this paper, we train state-of-the-art unsupervised models on five common multi-object datasets and evaluate segmentation metrics and downstream object property prediction. In addition, we study generalization and robustness by investigating the settings where either a single object is out of distribution -- e.g., having an unseen color, texture, or shape -- or global properties of the scene are altered -- e.g., by occlusions, cropping, or increasing the number of objects. From our experimental study, we find object-centric representations to be useful for downstream tasks and generally robust to most distribution shifts affecting objects. However, when the distribution shift affects the input in a less structured manner, robustness in terms of segmentation and downstream task performance may vary significantly across models and distribution shifts.

연구 동기 및 목표

• 다중 객체 환경에서 비지도 객체 중심 표현 학습이 다운스트림 작업 성능을 향상시키는지 평가하기 위해.
• 단일 객체가 분포 외부(OOD)에 있을 경우, 다른 객체들과는 독립적으로 객체 중심 모델이 안정적인 표현을 유지하는지 테스트하기 위해.
• 예를 들어 가림, 자르기, 객체 수 증가 등의 전반적 분포 이탈 상황에서 객체 중심 모델이 얼마나 내성적인지 평가하기 위해.
• 재현 가능한 연구와 향후 평가를 지원하기 위해 객체 중심 표현 학습을 위한 벤치마크 라이브러리 수립하기 위해.
• 객체 중심 모델에서 분할 정확도, 재구성 오차, 다운스트림 예측 성능 간의 상관관계를 조사하기 위해.

제안 방법

• 최신 비지도 객체 탐지 모델인 MONet, Slot Attention, GENESIS, SPACE, 그리고 컨volutional 및 브로드캐스트 디코더를 갖춘 VAE를 재현하였다.
• CLEVR, Multi-dSprites, Objects Room, ShapeStacks, Tetrominoes 등 다섯 개의 다중 객체 데이터셋에서 모델을 훈련시켰다.
• 분할 정확도(예: ARI), 재구성 오차, 다운스트림 객체 속성 예측 성능를 사용해 모델을 평가하였다.
• 통제된 분포 이탈 적용: 단일 객체 OOD(예: 새로운 색상, 형태, 질감), 전반적 시나리오 수준의 이탈(가림, 자르기, 객체 수 증가).
• 검증 ARI 점수를 기반으로 모델를 선택하고, 테스트 세트에 대해 보류된 결과를 보고하여 편향 없는 평가를 확보하였다.
• 표준화된 벤치마크 및 신규 모델과 데이터셋의 지원을 위한 오픈소스 라이브러리(https://github.com/addtt/object-centric-library)를 공개하였다.

실험 결과

연구 질문

• RQ1 비지도 객체 중심 표현 학습이 다운스트림 객체 속성 예측 작업에서 성능 향상에 기여하는가?
• RQ2 단일 객체가 분포 외부(OOD)일 경우(예: 새로운 색상 또는 형태), 분포 내 객체의 표현은 안정적으로 유지되고 영향을 받지 않는가?
• RQ3 가림, 자르기, 또는 객체 수 증가와 같은 전반적 분포 이탈 상황에서 객체 중심 모델의 내성은 어떠한가?
• RQ4 객체 중심 모델에서 분할 정확도, 재구성 오차, 다운스트림 작업 성능 간에 강한 상관관계가 존재하는가?
• RQ5 객체 중심 표현은 다양한 분포 이탈 상황에서 효과적으로 일반화되는가? 그리고 성능은 다양한 모델과 이탈 유형에 따라 어떻게 변화하는가?

주요 결과

• 객체 중심 모델은 객체 속성 예측 작업에서 뛰어난 다운스트림 성능를 기록하며, 분할 정확도(예: ARI), 재구성 오차, 다운스트림 정확도 간에 강한 상관관계를 보였다.
• 단일 객체가 분포 외부(OOD)일 경우(예: 새로운 색상 또는 형태), 분할 성능는 대부분 안정적으로 유지되며, 분포 내 객체의 예측은 최소한의 영향을 받았다.
• 가림, 자르기, 또는 객체 수 증가와 같은 전반적 분포 이탈 상황에서는 모델 간에 분할 및 다운스트림 성능가 크게 다름을 보였으며, 일부 모델에서는 성능 저하가 심각하게 나타났다.
• 전반적 이탈 상황에서 객체 중심 모델의 내성은 모델에 따라 크게 달라지며, 유도적 편향만으로는 모든 종류의 분포 이탈에 대한 일반화를 보장하지 못함을 시사한다.
• MONet, Slot Attention, GENESIS와 같은 모델들은 특정 이탈에 대해 더 뛰어난 내성성을 보였고, VAE 기반 모델들은 동일 조건에서 더 뚜렷한 성능 저하를 보였다.
• 본 연구는 객체 중심 표현이 구조적이고 객체 수준의 분포 이탈에 특히 효과적이지만, 시나리오 수준의 구조 변화가 있을 경우 어려움을 겪는다는 것을 입증하였다.