[논문 리뷰] Learning Object-Centric Video Models by Contrasting Sets

Sindy Löwe, Klaus Greff외 3명|arXiv (Cornell University)|2020. 11. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 5

한 줄 요약

이 논문은 개체 중심 비디오 표현 학습을 향상시키기 위해 개별 슬롯이 아닌 집합된 슬롯 세트를 대비하는 글로벌 세트 기반의 대비 손실인 SetCon을 제안한다. 이는 이전의 슬롯 기반 대비 방법에서 근본적인 결함을 해결한다. 즉, 동일한 객체인지 다른 객체인지에 관계없이 손실이 동일하게 작용하는 문제를 해결한다. 이 방법은 학습된 슬롯 초기화를 사용하는 어텐션 기반 슬롯 어텐션을 활용하며, 합성 비디오 데이터셋에서 재구성, 미래 예측, 개체 분離 성능 모두에서 최신 기준을 달성한다.

ABSTRACT

Contrastive, self-supervised learning of object representations recently emerged as an attractive alternative to reconstruction-based training. Prior approaches focus on contrasting individual object representations (slots) against one another. However, a fundamental problem with this approach is that the overall contrastive loss is the same for (i) representing a different object in each slot, as it is for (ii) (re-)representing the same object in all slots. Thus, this objective does not inherently push towards the emergence of object-centric representations in the slots. We address this problem by introducing a global, set-based contrastive loss: instead of contrasting individual slot representations against one another, we aggregate the representations and contrast the joined sets against one another. Additionally, we introduce attention-based encoders to this contrastive setup which simplifies training and provides interpretable object masks. Our results on two synthetic video datasets suggest that this approach compares favorably against previous contrastive methods in terms of reconstruction, future prediction and object separation performance.

연구 동기 및 목표

• 슬롯 기반 대비 학습의 근본적 한계를 해결하기 위해, 즉 슬롯이 서로 다른 객체를 나타내든 동일한 객체를 나타내든 손실이 동일하게 작용하는 문제를 해결한다.
• 모든 슬롯이 서로 다른 객체 표현을 갖도록 유도하는 글로벌 세트 기반의 대비 손실을 도입하여 개체 중심 표현 학습을 향상시킨다.
• 어텐션 기반 슬롯 인코더를 사용하여 학습을 단순화하고 해석 가능한 개체 마스크를 가능하게 한다.
• 합성 비디오 데이터셋에서 재구성, 미래 예측, 개체 분리 성능을 평가한다.

제안 방법

• 모든 슬롯의 집합된 표현(글로벌 시나리오 표현)을 대비하는 글로벌 세트 대비 손실(SetCon)을 제안하며, 개별 슬롯 쌍 대비가 아닌 전체 슬롯 집합을 대비한다.
• 딥셋스 기반 세트 인코더를 사용하여 슬롯 표현을 글로벌 시나리오 벡터 $\bm{z}_{\bm{s}_t}$ 와 $\bm{z}_{\bm{p}_t}$ 로 집계한다. 이는 현재 프레임과 예측 프레임에 해당한다.
• 학습된 슬롯 초기화를 사용하는 단일 반복 슬롯 어텐션을 활용하여 $K$개의 개체 중심 슬롯 표현 $\bm{s}_t \in \mathbb{R}^{K \times D}$ 를 생성한다.
• 전이 모델을 적용하여 현재 및 과거 표현을 기반으로 미래 슬롯 표현 $\bm{p}_{t+1}^k$ 를 예측한다.
• 글로벌 시나리오 표현에 대해 대비 인포엠스 손실을 적용한다: $\mathcal{L}^{i} = -\mathbb{E}_{\bm{X}}\left[\log \frac{g(\bm{z}_{\bm{p}_t}^i, \bm{z}_{\bm{s}_t}^i)}{\sum_{\bm{z}_{\bm{s}_t}'^j \in \mathcal{B}} g(\bm{z}_{\bm{p}_t}^i, \bm{z}_{\bm{s}_t}'^j) + \sum_{\bm{z}_{\bm{p}_t}'^j \in \mathcal{B}} g(\bm{z}_{\bm{p}_t}^i, \bm{z}_{\bm{p}_t}'^j)} \right]$, 여기서 $g$ 는 내적이다.
• 재구성 및 미래 예측 작업을 위해 별도의 디코더를 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 전통적인 슬롯 기반 대비 손실 대비, 글로벌 세트 기반 대비 손실이 비디오에서 다양한 개체 중심 표현을 학습하는 데 더 우수한 성능을 낼 수 있는가?
• RQ2 제안된 SetCon 손실이 모든 슬롯이 동일한 객체 표현으로 수축하는 것을 효과적으로 방지하는가?
• RQ3 학습된 초기화를 사용하는 어텐션 기반 슬롯 인코더의 사용이 학습 안정성과 개체 마스크의 해석 가능성에 어떤 영향을 미치는가?
• RQ4 색상에 의존하여 분리하는 경우, 동일한 외관을 가진 다수의 객체를 포함한 시나리오에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 시간적 대비 신호만을 사용하여, 감독 없이도 강력한 미래 예측 및 재구성 성능를 달성할 수 있는가?

주요 결과

• SetCon 방법은 Bouncing Balls 및 GridWorld 비디오 데이터셋 양쪽에서 이전의 대비 방법 대비 뛰어난 재구성 성능를 보였다.
• 모델은 미래 예측 성능가 뛰어나며, 최대 5단계까지의 미래 예측에서도 일관된 결과를 보였고, 슬롯 기반 대비 기반 베이스라인을 능가했다.
• ARI 점수로 측정한 개체 분리 성능는 SetCon을 통해 크게 향상되었으며, 개별 객체의 분리가 더 잘 이루어졌음을 시사한다.
• Bouncing Balls 데이터셋에서 재구성 MSE는 0.0026, GridWorld 데이터셋에서는 0.0041을 기록하여 이전 방법을 능가했다.
• GridWorld 데이터셋에서 색상 수를 늘릴수록 성능이 저하됨을 확인하여, 객체 분리에 색상 정보에 의존하고 있음을 시사한다.
• 슬롯을 무작위로 초기화할 경우, 미래 예측 성능에 심각한 성능 저하가 발생했으며(MSE 6.016), 이는 학습된 초기화가 복잡한 시나리오에 대한 일반화에 필수적임을 보여준다.