[논문 리뷰] Complex-Valued Autoencoders for Object Discovery

Sindy Löwe, Phillip Lippe외 2명|arXiv (Cornell University)|2022. 04. 05.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 복소수 활성화를 사용하여 분산형, 객체 중심 표현을 학습하는 단순하고 엔드 투 엔드로 훈련 가능한 자동에코더 아키텍처인 복소수 자동에코더(CAE)를 제안한다. 특징 존재는 크기로, 객체 바인딩은 상대 위상 차이를 통해 표현되며, 이는 신경과학적 시간적 상관관계 가설에 영감을 받은 것이다. 이를 통해 CAE는 이전의 복소수 기반 방법보다 경쟁적인 비지도 객체 탐지 성능을 달성하였고, 최신 슬롯 기반 접근 방식보다 최대 100배 빠르게 훈련된다.

ABSTRACT

Object-centric representations form the basis of human perception, and enable us to reason about the world and to systematically generalize to new settings. Currently, most works on unsupervised object discovery focus on slot-based approaches, which explicitly separate the latent representations of individual objects. While the result is easily interpretable, it usually requires the design of involved architectures. In contrast to this, we propose a comparatively simple approach - the Complex AutoEncoder (CAE) - that creates distributed object-centric representations. Following a coding scheme theorized to underlie object representations in biological neurons, its complex-valued activations represent two messages: their magnitudes express the presence of a feature, while the relative phase differences between neurons express which features should be bound together to create joint object representations. In contrast to previous approaches using complex-valued activations for object discovery, we present a fully unsupervised approach that is trained end-to-end - resulting in significant improvements in performance and efficiency. Further, we show that the CAE achieves competitive or better unsupervised object discovery performance on simple multi-object datasets compared to a state-of-the-art slot-based approach while being up to 100 times faster to train.

연구 동기 및 목표

• 슬롯 기반 접근 방식의 비효율성, 구조적 복잡성, 계층적 구조 표현 불가능성 등의 한계를 해결하기 위해.
• 딥 볼츠만 기반 모델(DBM)과 같은 이전 복소수 기반 모델의 비효율성과 불안정성(예: 그레디 전훈련과 반복적 추론이 필요함)을 극복하기 위해.
• 시간적 상관관계 가설을 활용하여 분산형 객체 중심 표현 학습을 위한 단순하고 엔드 투 엔드로 훈련 가능한 아키텍처를 개발하기 위해.
• 반복적 추론 절차나 아키텍처의 인덕티브 바이어스 없이도 효율적이고 신뢰성 있고 해석 가능한 비지도 객체 탐지 기능을 제공하기 위해.

제안 방법

• CAE는 복소수 가중치와 활성화를 사용하는 컨볼루션 자동에코더로 구성되며, 크기로 특징 존재를, 상대 위상 정렬을 통해 위상으로 객체 정체성을 인코딩한다.
• 각 레이어에 학습 가능한 위상 이동 연산을 도입하여, 인코딩 및 디코딩 과정에서 뉴런 간 특징 바인딩 방식을 명시적으로 제어한다.
• 실수값 입력 이미지와 복소수 출력의 크기 간 평균 제곱오차 손실을 사용하여 엔드 투 엔드로 훈련한다.
• 훈련 후 잠재 표현의 위상 값에서 레이블 없이도 객체 정체성을 추론한다.
• k-평균 군집화를 통해 잠재 위상 값에 기반한 위상 기반 객체 분리 기능을 실현하여 분리된 객체 별 재구성 가능하다.
• 직접 안정적인 복소수 표현을 출력함으로써 반복적 추론을 피하고, 빠른 평가가 가능하다.

실험 결과

연구 질문

• RQ1 아키텍처의 인덕티브 바이어스나 반복적 추론 없이도 단순하고 엔드 투 엔드로 복소수 활성화를 사용하는 자동에코더가 분리된 객체 중심 표현을 학습할 수 있는가?
• RQ2 시간적 상관관계 가설을 따르는 복소수 활성화를 사용할 경우, 이전 복소수 기반 모델보다 더 신뢰성 있고 해석 가능한 객체 탐지가 가능한가?
• RQ3 CAE의 성능 및 훈련 효율성은 슬롯 기반 접근 방식인 SlotAttention과 비교해 복수 객체 기준 벤치마크에서 어떻게 나타나는가?
• RQ4 분산형 위상 기반 바인딩을 통해 CAE는 계층적 또는 조합적 객체 구조를 효과적으로 표현할 수 있는가?

주요 결과

• CAE는 2Shapes, 3Shapes, MNIST&Shape 데이터셋에서 SlotAttention보다 경쟁적 또는 더 우수한 비지도 객체 탐지 성능을 달성했으며, 훈련 속도가 훨씬 빠르다.
• CAE는 2Shapes 데이터셋에서 총 훈련 시간이 7.6분으로 SlotAttention의 759.3분보다 최대 100배 빠르게 훈련된다.
• CAE는 Reichert & Serre(2014)의 DBM 기반 접근 방식보다 훈련 속도와 신뢰성 면에서 뛰어나며, 그레디 전훈련과 반복적 정착 과정이 필요 없어진다.
• CAE의 잠재 공간에서 위상 값은 객체 정체성에 따라 신뢰성 있게 분리되며, 정성적 위상 맵과 k-평균 군집화를 통한 객체 별 재구성에서 이를 확인할 수 있다.
• CAE의 평가 시간은 263.9초로 SlotAttention보다 16.6배 느리지만, 반복적 절차 없이 직접 추론하므로 여전히 효율적이다.
• 실수값 자동에코더 기반 모델은 분리된 표현을 학습하지 못하는 반면, CAE는 위상 기반 바인딩을 통해 객체를 성공적으로 분리함으로써, 복소수 활성화의 필요성을 입증한다.