[논문 리뷰] R-SQAIR: Relational Sequential Attend, Infer, Repeat

Aleksandar Stanić, Jürgen Schmidhuber|arXiv (Cornell University)|2019. 10. 11.

Bayesian Modeling and Causal Inference참고 문헌 33인용 수 18

한 줄 요약

R-SQAIR는 상호작용 네트워크(IN) 또는 관계 메모리 코어(RMC)를 사용하여 병렬 관계적 인덕티브 바이어스를 SQAIR 모델에 확장함으로써 영상 내 쌍별 객체 상호작용을 명시적이고 조합적으로 일반화 가능한 방식으로 모델링할 수 있도록 함. 이는 특히 훈련 중에 본 바보다 더 많은 객체를 포함한 시나리오에서 테스트했을 때 로그우도(log-likelihood)와 관계적 일반화에서 뚜렷한 성능 향상을 이룸.

ABSTRACT

Traditional sequential multi-object attention models rely on a recurrent mechanism to infer object relations. We propose a relational extension (R-SQAIR) of one such attention model (SQAIR) by endowing it with a module with strong relational inductive bias that computes in parallel pairwise interactions between inferred objects. Two recently proposed relational modules are studied on tasks of unsupervised learning from videos. We demonstrate gains over sequential relational mechanisms, also in terms of combinatorial generalization.

연구 동기 및 목표

• 비지도 영상 이해를 위한 순차적 어텐션 모델에서의 관계 추론 성능 향상.
• RNN 기반 순차적 관계 메커니즘이 객체 상호작용을 효율적이고 조합적으로 모델링하는 데에 한계가 있음을 해결.
• 훈련 데이터에서 본 바보다 더 많은 객체를 포함한 시나리오로 일반화할 수 있도록 모델 설계.
• 시간 일관성을 유지하면서 순차적 어텐션 프레임워크에 강력한 관계적 인덕티브 바이어스 통합.

제안 방법

• R-SQAIR는 SQAIR에 상호작용 네트워크(IN) 또는 관계 메모리 코어(RMC) 중 하나인 병렬 관계 모듈을 추가하여 쌍별 객체 상호작용을 동시에 계산함.
• 관계 모듈은 SQAIR의 순차적 RNN 기반 관계 메커니즘을 대체하여 모든 객체 쌍 간의 영향을 병렬로 계산함.
• IN 모듈은 어텐션 계수를 사용해 상호작용 영향의 가중합을 계산하고, RMC는 메모리 슬롯에 대한 멀티헤드 자기어텐션을 사용해 객체 동역학을 모델링함.
• 모델은 구조적 VAE 프레임워크를 사용한 약류 변분 추론을 활용하며, 원래 SQAIR 아키텍처를 유지하여 객체 탐지 및 전파 수행.
• 관계적 로그우도는 충돌하는 객체 쌍에 대해서만 계산되어 관계 추론 성능에 대한 집중적 평가 가능.
• 초기화된 하이퍼파ram터는 시각적 복잡도가 낮은 조건을 위해 설정됨: z_what의 잠재 차원 5, IN의 잠재 차원 5, RMC의 10차원 4헤드 자기어텐션.

실험 결과

연구 질문

• RQ1 병렬 관계 모듈은 순차적 어텐션 모델에서 영상에 대한 관계 추론 성능 향상에 기여하는가?
• RQ2 강력한 관계적 인덕티브 바이어스 통합이 예측되지 않은 객체 수에 대한 조합 일반화 성능 향상에 기여하는가?
• RQ3 R-SQAIR는 분포 외 테스트 세트에서 SQAIR와 비교해 로그우도 및 관계적 로그우도 측면에서 어떻게 성능을 냈는가?
• RQ4 재학습 없이도 훈련 데이터보다 더 많은 객체를 포함한 시나리오로 일반화할 수 있는가?

주요 결과

• IN를 사용한 R-SQAIR는 4볼 영상에서 테스트 데이터 로그우도 429.2, 관계적 로그우도 1.95를 기록하여 SQAIR의 399.5와 0.21을 초월함.
• RMC를 사용한 R-SQAIR는 4볼 영상에서 데이터 로그우도 457.32, 관계적 로그우도 3.62를 기록하여 SQAIR를 크게 앞서나감.
• 6–8볼 테스트 세트에서 R-SQAIR(IN)는 관계적 로그우도 -96.7을 기록했고, SQAIR는 -164.1이었으며, 이는 더 많은 객체로의 일반화 능력이 뛰어남을 시사함.
• 6–8볼 세트에서 R-SQAIR와 SQAIR 간의 관계적 로그우도 성능 격차는 R-SQAIR가 더 강력하고 일반화 가능한 전파 사전지식을 학습했음을 시사함.
• 단지 9,389개의 파rameter(IN) 또는 98,880개(RMC) 추가만으로도 뚜렷한 성능 향상이 발생하여, 성능 향상 요인이 파rameter 수가 아닌 더 나은 인덕티브 바이어스에 기인함을 시사함.
• 정성적 결과는 R-SQAIR가 초기 단계에서 객체 표현을 분리하고 정제하며, 예측되지 않은 객체 수로의 일반화가 가능하고, 모든 프레임 간 일관된 객체 추적을 수행함을 보여줌.