[논문 리뷰] RAVEN: A Dataset for Relational and Analogical Visual rEasoNing

Chi Zhang, Feng Gao외 3명|arXiv (Cornell University)|2019. 03. 07.

Multimodal Machine Learning Applications참고 문헌 56인용 수 31

한 줄 요약

RAVEN은 70,000개의 레이븐 프로그레시브 매트릭스 문제를 포함한 대규모 데이터셋으로, 구조적이고 규칙 기반의 시각적 추론 주석을 제공하여 시각 분야의 기계 추론 성능을 평가하고 향상시키기 위해 설계되었다. 구조적 표현을 활용하는 새로운 동적 잔차 트리(DRT) 모듈을 통합함으로써 모델은 일관된 성능 향상을 보였지만, 추상적이고 관계 기반 추론 과제에서 인간과 기계 간의 성능 격차는 여전히 크다.

ABSTRACT

Dramatic progress has been witnessed in basic vision tasks involving low-level perception, such as object recognition, detection, and tracking. Unfortunately, there is still an enormous performance gap between artificial vision systems and human intelligence in terms of higher-level vision problems, especially ones involving reasoning. Earlier attempts in equipping machines with high-level reasoning have hovered around Visual Question Answering (VQA), one typical task associating vision and language understanding. In this work, we propose a new dataset, built in the context of Raven's Progressive Matrices (RPM) and aimed at lifting machine intelligence by associating vision with structural, relational, and analogical reasoning in a hierarchical representation. Unlike previous works in measuring abstract reasoning using RPM, we establish a semantic link between vision and reasoning by providing structure representation. This addition enables a new type of abstract reasoning by jointly operating on the structure representation. Machine reasoning ability using modern computer vision is evaluated in this newly proposed dataset. Additionally, we also provide human performance as a reference. Finally, we show consistent improvement across all models by incorporating a simple neural module that combines visual understanding and structure reasoning.

연구 동기 및 목표

• 인공지능에서 고차원 인지적 추론을 지원하는 구조적이고 규칙 기반의 시각적 추론 데이터셋이 부족한 문제를 해결하기 위해.
• 구조적이고 규칙 수준의 주석을 명시적으로 제공하는 데이터셋을 도입하여 추상적 시각 과제에서 기계와 인간의 추론 성능 격차를 줄이기 위해.
• 새로운 신경 모듈(DRT)을 통해 구조적 추론을 시각 인식과 통합함으로써 그 효과를 평가하기 위해.
• 기계 지능을 위한 강력한 기준을 확립하기 위해 동일한 추론 과제에서 인간 성능을 벤치마킹하기 위해.
• 다양한 시각적 구성과 규칙 조합에 걸쳐 일반화 능력을 조사하기 위해.

제안 방법

• RAVEN 데이터셋은 시각적 요소와 규칙를 구조적 표현으로 체계적으로 인코딩하는 데 사용되는 속성 기반 확률적 이미지 문법(A-SIG)을 사용하여 생성된다.
• 각 문제에는 이미지당 16개의 트리 구조 주석이 포함되어 있으며, 객체와 속성 간의 계층적 관계를 캡처한다.
• 다섯 가지 규칙 기반 속성(예: 모양, 색상, 위치)이 정의되며, 각 속성은 네 가지 가능한 규칙을 갖는다. 이를 통해 복잡한 조합적 추론이 가능하다.
• 시각적 특징과 구조적 표현을 동시에 처리하기 위해 동적 잔차 트리(DRT) 모듈을 제안하였으며, 이는 구조적 데이터에 대한 잔차 학습을 통해 추론 능력을 향상시킨다.
• 모델 성능 평가를 위해 2x2Grid 등 일곱 가지의 서로 다른 도형 구성(예: 중심, 좌우, 2x2Grid)을 포함한다.
• 구성 간에 제로샷 일반화 프로토콜을 사용하여 모델을 훈련 및 평가함으로써 조합적 추론 능력과 이식 가능성(transferability)을 평가한다.

실험 결과

연구 질문

• RQ1 구조적 시각적 표현은 레이븐 프로그레시브 매트릭스와 같은 추상적 시각 과제에서 기계 추론 능력을 크게 향상시킬 수 있는가?
• RQ2 DRT를 통한 구조적 추론 통합은 표준 시각 모델 대비 모델 성능에 어떤 영향을 미치는가?
• RQ3 재학습 없이 다양한 공간적 구성(예: 2x2Grid에서 3x3Grid로) 간에 모델이 얼마나 잘 일반화되는가?
• RQ4 RAVEN 벤치마크에서 최첨단 모델과 인간 참가자 간의 성능 격차는 어느 정도인가?
• RQ5 보조 훈련 또는 데이터 증강 기법은 이러한 구조적 추론 벤치마크에서 추론 성능 향상에 기여하는가?

주요 결과

• ResNet+DRT 모델은 중심 구성에서 51.87%의 정확도를 기록하여 구조적 추론이 없는 모델보다 뛰어난 성능을 보였다.
• 미사전 구성(예: 좌우, 상하, 외부-내부 중심)으로의 일반화 시도에서 일관된 성능 향상이 나타났으며, 정확도는 각각 40.03%와 35.46%로 감소하여 잔차 추론 능력이 있음을 시사했다.
• 여러 구성에서 훈련된 모델은 단일 구성에서 훈련된 모델보다 뛰어난 성능을 보였으며, 이는 데이터셋 다양성이 추론 일반화에 기여한다는 점을 입증했다.
• 좌우 대칭 구성(좌우 대비 상하) 간의 전이 능력은 매우 뛰어나 테스트 정확도가 각각 41.07%와 43.60%를 기록하여 공간 변환에 대한 강건성을 보였다.
• 3x3Grid에서 2x2Grid로의 일반화 성능은 43.72%를 기록했으며, 이는 2x2Grid 전용으로 훈련된 모델의 40.93%보다 略로 높게 나타나 더 큰 구성이 더 작은 구성의 특성을 암묵적으로 포괄할 수 있음을 시사했다.
• 인간 참가자의 RAVEN 성능는 심화된 훈련 조건에서도 기계 성능보다 뚜렷하게 높았으며, 이는 추상적이고 관계 기반 추론에서 여전히 지속적인 격차가 존재함을 보여주었다.