[논문 리뷰] Improving Object-centric Learning with Query Optimization

Baoxiong Jia, Yu Liu외 1명|arXiv (Cornell University)|2022. 10. 17.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 Bi-level Optimized Query Slot Attention (BO-QSA)라는 새로운 방법을 제안한다. 이 방법은 무 supervision 객체 중심 학습을 향상시키기 위해 무작위 초기화 대신 쿼리로 슬롯 초기화를 학습함으로써 더 안정적이고 개념적으로 의미 있는 객체 표현을 가능하게 한다. 직렬화된 기울기 추정과 이중 최적화를 통합함으로써 10개의 다양한 데이터셋(합성 및 실세계 데이터셋)에서 최신 기술 수준(SOTA) 성능을 달성하며, 재구성 및 분할 작업에서 이전의 Slot-Attention 변종보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

The ability to decompose complex natural scenes into meaningful object-centric abstractions lies at the core of human perception and reasoning. In the recent culmination of unsupervised object-centric learning, the Slot-Attention module has played an important role with its simple yet effective design and fostered many powerful variants. These methods, however, have been exceedingly difficult to train without supervision and are ambiguous in the notion of object, especially for complex natural scenes. In this paper, we propose to address these issues by investigating the potential of learnable queries as initializations for Slot-Attention learning, uniting it with efforts from existing attempts on improving Slot-Attention learning with bi-level optimization. With simple code adjustments on Slot-Attention, our model, Bi-level Optimized Query Slot Attention, achieves state-of-the-art results on 3 challenging synthetic and 7 complex real-world datasets in unsupervised image segmentation and reconstruction, outperforming previous baselines by a large margin. We provide thorough ablative studies to validate the necessity and effectiveness of our design. Additionally, our model exhibits great potential for concept binding and zero-shot learning. Our work is made publicly available at https://bo-qsa.github.io

연구 동기 및 목표

• Slot-Attention에서 무작위 슬롯 초기화로 인한 안정성 부족과 모호성 문제를 해결한다.
• 무 supervision 객체 중심 모델에서 하이퍼파rameter 조정과 학습 힌트(예: 기울기 클리핑, 학습률 웜업)에 대한 의존도를 줄인다.
• 학습된 슬롯이 실제 객체 개념과 더 잘 유대되도록 개선하여 더 나은 일반화 및 제로샷 전이 가능성을 확보한다.
• 학습 가능한 쿼리와 이중 최적화, 직렬화된 기울기 추정을 통합함으로써 학습 효율성과 수렴 속도를 향상시킨다.
• 다양한 시각 작업(3D 장면 재구성, 이미지 분할 포함)에 쉽게 통합할 수 있는 플러그 앤 플레이 방식의 객체 중심 학습 개선을 가능하게 한다.

제안 방법

• Slot-Attention의 무작위 슬롯 초기화를 이중 최적화를 통해 최적화되는 학습 가능한 쿼리 벡터로 대체한다.
• 이산 슬롯 할당 과정을 통해 전방전파를 가능하게 하기 위해 직렬화된 기울기 추정기(STE)를 도입한다.
• 최적화 문제를 이중 최적화 문제로 설정: 내부 루프는 어텐션을 통해 슬롯 특징을 최적화하고, 외부 루프는 학습 가능한 쿼리 초기화를 업데이트한다.
• 원래의 Slot-Attention 아키텍처를 유지하되, 초기화 및 최적화 절차만 수정하여 후행 호환성을 확보한다.
• 외부 루프 최적화의 계산 비용을 줄이기 위해 일阶 근사(approximation)를 적용하여 효율적인 학습을 가능하게 한다.
• uORF와 같은 기존 모델에 플러그인 방식으로 적용하여 아키텍처 변경 없이 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 학습 가능한 쿼리 초기화가 무 supervision 객체 중심 학습의 학습 안정성과 성능 향상에 기여할 수 있는가?
• RQ2 무작위 초기화를 최적화된 쿼리로 대체하면 복잡한 장면에서 객체 개념과의 유대력이 향상되는가?
• RQ3 제안된 방법이 Slot-Attention에서 하이퍼파rameter 조정에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 모델은 미세조정 없이 제로샷 시나리오에 일반화되고 새로운 데이터셋으로 전이 가능한가?
• RQ5 합성 및 실세계 이미지 데이터셋을 포함한 다양한 벤치마크에서 이 방법의 성능은 어떠한가?

주요 결과

• BO-QSA는 3개의 합성 데이터셋과 7개의 실세계 데이터셋에서 최신 기술 수준 성능를 달성하며 재구성 및 분할 작업 모두에서 이전의 SOTA 방법을 능가한다.
• CLEVR-567 데이터셋에서 uORF+BO-QSA는 600 에포크 학습으로 74.5 NV-ARI를 기록했으며, 원래의 uORF 모델이 1200 에포크를 학습한 결과(84.4 NV-ARI)를 뛰어넘었다.
• 복잡한 Room-Diverse 벤치마크에서 uORF+BO-QSA는 240 에포크 학습으로 63.0 NV-ARI를 달성했고, 원래의 uORF는 240 에포크에서 56.6 NV-ARI를 기록했다.
• 모델은 제로샷 전이 학습에서 개선된 일반화 성능를 보이며 강력한 개념 유대 잠재력이 있음을 시사한다.
• 제거 실험 결과 학습 가능한 쿼리가 성능 향상에 필수적임을 확인했으며, 무작위 초기화는 열 劣한 성능 결과를 낳는다.
• 학습의 불안정성과 하이퍼파rameter 조정에 대한 의존도가 감소했음을 증명하는 바, 다양한 데이터셋에서 일관된 수렴 성능가 보였다.