[논문 리뷰] Learning to reason over visual objects

Shanka Subhra Mondal, Taylor W. Webb외 1명|arXiv (Cornell University)|2023. 03. 03.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 여러 RPM 유사 벤치마크에서 최고 성능을 달성하기 위해 개체 중심 슬롯 어텐션과 트랜스포머 추론 모듈을 결합한 일반 목적의 시각적 추론 모델인 슬롯 트랜스포머 스코링 네트워크(Slot Transformer Scoring Network, STSN)를 제안한다. 작업 전용 인덕티브 바이어스 없이 정밀한 개체 중심 표현을 활용함으로써 STSN은 강력한 일반화 능력과 추상적 시각적 추론 능력을 확보하였으며, 이는 개체 중심 처리가 이러한 작업에 핵심적인 인덕티브 바이어스임을 입증한다.

ABSTRACT

A core component of human intelligence is the ability to identify abstract patterns inherent in complex, high-dimensional perceptual data, as exemplified by visual reasoning tasks such as Raven's Progressive Matrices (RPM). Motivated by the goal of designing AI systems with this capacity, recent work has focused on evaluating whether neural networks can learn to solve RPM-like problems. Previous work has generally found that strong performance on these problems requires the incorporation of inductive biases that are specific to the RPM problem format, raising the question of whether such models might be more broadly useful. Here, we investigated the extent to which a general-purpose mechanism for processing visual scenes in terms of objects might help promote abstract visual reasoning. We found that a simple model, consisting only of an object-centric encoder and a transformer reasoning module, achieved state-of-the-art results on both of two challenging RPM-like benchmarks (PGM and I-RAVEN), as well as a novel benchmark with greater visual complexity (CLEVR-Matrices). These results suggest that an inductive bias for object-centric processing may be a key component of abstract visual reasoning, obviating the need for problem-specific inductive biases.

연구 동기 및 목표

• 개체 중심 시각적 표현이 추상적 시각적 추론을 위한 일반 목적의 인덕티브 바이어스로 기능할 수 있는지 조사하기 위해.
• 작업 전용 아키텍처 인덕티브 바이어스가 없는 모델이 RPM 유사 추론 작업에서 이전 방법들을 능가할 수 있는지 평가하기 위해.
• 고품질 재구성 손실이 개체 중심 인코딩 및 향상된 추론 일반화에 미치는 영향을 평가하기 위해.
• 더 높은 시각적 복잡도를 가진 더 복잡한 새로운 벤치마크인 CLEVR-Matrices를 개발하고 평가하기 위해.

제안 방법

• 모델은 각 이미지 패널에서 K개의 개체 슬롯을 추출하기 위해 슬롯 어텐션을 사용하여 지도 세그멘테이션 없이도 개체 중심 인코딩을 가능하게 한다.
• 각 이미지 패널의 슬롯은 후보 답변 선택지의 슬롯과 연결되어 트랜스포머 추론 모듈용 시퀀스를 형성한다.
• 트랜스포머는 각 답변 선택지에 대해 점수를 생성하며, 최종 예측은 이 점수들에 대한 소프트맥스를 통해 도출된다.
• 모델는 다중 태스크 목적에 따라 훈련되며, 추론 정확도를 위한 작업 손실과 슬롯 품질을 위한 재구성 손실을 모두 최소화한다.
• 재구성 손실에 높은 가중치(λ=1000)를 부여하여 고품질의 개체 특화 슬롯 재구성을 보장하며, 이는 성능에 매우 중요하다.
• 아키텍처는 세 가지 벤치마크에서 평가된다: PGM, I-RAVEN, 그리고 더 높은 시각적 복잡도를 지닌 새로운 CLEVR-Matrices 데이터셋.

Figure 1: Slot Transformer Scoring Network (STSN). STSN combines slot attention, an object-centric encoding method, and a transformer reasoning module. Slot attention decomposes each image panel into a set of $K$ slots, which are randomly initialized and iteratively updated through competitive atten

실험 결과

연구 질문

• RQ1 오직 개체 중심 인코딩과 트랜스포머만을 사용하는 일반 목적의 모델이 추상적 시각적 추론 작업에서 최고 성능을 달성할 수 있는가?
• RQ2 작업 전용 인덕티브 바이어스 없이도 개체 중심 표현 학습이 시각적 추론에서 더 나은 일반화를 이끌어내는가?
• RQ3 슬롯 기반 재구성의 품질이 추론 성능 및 일반화에 어떤 영향을 미치는가?
• RQ4 개체 중심 처리에서 얻는 성능 향상은 다양한 시각적 복잡도를 지닌 데이터셋 간에 안정적인가?

주요 결과

• STSN은 I-RAVEN 벤치마크에서 95.7%의 최고 성능 테스트 정확도를 기록하여, 작업 전용 인덕티브 바이어스가 없는 이전 방법들을 능가하였다.
• PGM 벤치마크에서는 97.8%의 정확도를 달성하여 표준 RPM 유사 작업에서 강력한 성능을 보였다.
• 더 복잡한 새로운 CLEVR-Matrices 벤치마크에서는 최고 성능을 기록하여, 증가한 시각적 복잡도에 대한 강건성을 확인하였다.
• 아블레이션 연구에서 슬롯 어텐션을 제거하면 정확도가 71.0%로 떨어졌으며, 이는 슬롯 어텐션의 중심적 역할을 입증하였다.
• 재구성 손실 가중치(λ)를 1000에서 1로 줄였을 때 추론 정확도가 95.7%에서 74.2%로 감소하여, 개체 중심 학습에 있어 고품질 재구성의 중요성을 확인하였다.
• 모델의 슬롯 기반 재구성은 지도 세그멘테이션 없이도 입력 이미지의 개별 물체와 매우 유사하게 나타났으며, 이는 효과적인 개체 중심 처리를 확인한다.

Figure 2: Example problem from our proposed CLEVR-Matrices dataset. Problems are governed by RPM-like problem structure, but with greater visual complexity (rendered using approach similar to CLEVR dataset (Johnson et al., 2017 ) ). This particular problem is an example of the ‘Location’ problem typ