[논문 리뷰] Systematic Visual Reasoning through Object-Centric Relational Abstraction

Taylor W. Webb, Shanka Subhra Mondal외 1명|arXiv (Cornell University)|2023. 06. 04.

Data Visualization and Analytics인용 수 6

한 줄 요약

이 논문은 시각적 추론에서 체계적 일반화를 달성하기 위해 객체 중심 표현 학습과 관계 추상화를 결합한 Object-Centric Relational Abstraction (OCRA) 모델을 제안한다. 객체 슬롯을 추출하고, 내적 곱 관계 연산자를 통해 쌍별 관계를 계산하며, 트랜스포머를 이용해 고차원 패턴을 모델링함으로써, 복잡한 시각 작업에서 강력한 기준 모델을 능가한다. 이는 더 높은 시각적 복잡도를 지닌 새로운 데이터셋(CLEVR-ART)에서도 검증되었으며, 새로운 객체 구성에 대한 강건한 제로샷 일반화 성능을 입증한다.

ABSTRACT

Human visual reasoning is characterized by an ability to identify abstract patterns from only a small number of examples, and to systematically generalize those patterns to novel inputs. This capacity depends in large part on our ability to represent complex visual inputs in terms of both objects and relations. Recent work in computer vision has introduced models with the capacity to extract object-centric representations, leading to the ability to process multi-object visual inputs, but falling short of the systematic generalization displayed by human reasoning. Other recent models have employed inductive biases for relational abstraction to achieve systematic generalization of learned abstract rules, but have generally assumed the presence of object-focused inputs. Here, we combine these two approaches, introducing Object-Centric Relational Abstraction (OCRA), a model that extracts explicit representations of both objects and abstract relations, and achieves strong systematic generalization in tasks (including a novel dataset, CLEVR-ART, with greater visual complexity) involving complex visual displays.

연구 동기 및 목표

• 소수의 예제로부터 학습함에도 불구하고 새로운 입력에 대해 체계적으로 일반화하지 못하는 시각적 추론 모델의 격차를 보완하기 위해.
• 객체 중심 표현 학습과 강력한 인도적 편향을 지닌 관계 추상화를 통합하여 인간과 유사한 일반화를 가능하게 하기 위해.
• 사전에 분할된 객체나 정답 주석에 의존하지 않고도 복잡한 다강인물 시각적 장면에서 추론이 가능한 모델을 개발하기 위해.
• 각 구성 요소—객체 슬롯, 관계 임베딩, 고차원 관계 모델링—이 체계적 일반화에 기여하는지 여부를 평가하기 위해.
• 모델이 새로운 객체 형태와 구성에 대해 효과적으로 일반화하는지, 시각적 변형 조건에서도 일반화 강건성을 유지하는지 입증하기 위해.

제안 방법

• OCRA는 입력 이미지에서 K개의 객체 중심 잠재 표현을 슬롯 주의(attention)를 사용해 추출하며, 각각은 분리된 특징 임베딩과 위치 임베딩을 가진다.
• 쌍별 관계 임베딩은 특징 임베딩을 내적 곱으로 조합하고 위치 임베딩을 덧셈 방식으로 통합하는 관계 연산자를 통해 계산된다.
• 관계 임베딩는 트랜스포머 인코더를 통해 처리되어 고차원 관계적 구조를 모델링하고 추상 규칙를 식별한다.
• 모델는 종단 간 학습을 위해 대조 학습 목표를 사용하여 분리된 표현과 관계 추상화를 장려한다.
• 체계적 일반화를 테스트하기 위해 더 높은 시각적 복잡도를 지닌 새로운 데이터셋인 CLEVR-ART가 제안된다. 이는 다양한 형태와 공간 배치를 포함한다.
• 제거 분석(ablation studies)은 슬롯 주의, 관계 블로킹, 분리 표현, 고차원 관계를 위한 트랜스포머의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 객체 중심 표현과 관계 추상화를 동시에 학습하는 모델이 시각적 추론 작업에서 체계적 일반화를 달성할 수 있는가?
• RQ2 관계 블로킹 메커니즘이 새로운 객체 구성에 대한 제로샷 일반화에 얼마나 중요한가?
• RQ3 객체 중심 처리와 관계 추상화의 통합이 이전 방법에 비해 복잡한 시각적 추론 작업에서 성능을 향상시키는가?
• RQ4 트랜스포머를 통한 고차원 관계 모델링과 내적 곱 관계 연산자와 같은 아키텍처 구성 요소가 일반화에 얼마나 기여하는가?
• RQ5 공간적 진동이나 노이즈와 같은 시각적 변형 조건에서 모델의 성능은 어떻게 되며, 일반화 강건성은 유지되는가?

주요 결과

• OCRA는 m=95 일반화 영역에서 RMTS 작업에서 85.31% ± 2.0의 테스트 정확도를 기록하여, 아키텍처 제거 모델들을 크게 앞서갔다.
• 제거 분석 결과, 슬롯 주의를 제거하면 정확도가 56.58% ± 3.1로 떨어졌으며, 이는 객체 중심 표현 학습의 필요성을 시사한다.
• 관계 블로킹을 제거한 모델(w/o Relational Bottleneck)은 정확도가 63.62% ± 1.0에 머물러 관계 추상화의 중요성을 입증한다.
• 내적 곱 대신 외적 곱을 사용하면 정확도가 62.84% ± 1.6로 떨어졌으며, 이는 내적 곱의 인도적 편향이 관계 일반화에 핵심적임을 시사한다.
• 고차원 관계를 위한 트랜스포머를 제거한 모델(w/o Transformer)은 정확도가 51.29% ± 0.2로 떨어졌으며, 이는 복잡한 관계 패턴을 모델링하는 것이 필수적임을 확인한다.
• 내적 곱 대신 학습 가능한 블로킹을 사용한 모델는 정확도가 50.70% ± 0.4에 머물러, 내적 곱의 인도적 편향이 단순 압축 메커니즘을 넘어서 중요한 역할을 함을 시사한다.