[논문 리뷰] Deep Learning Methods for Abstract Visual Reasoning: A Survey on Raven's Progressive Matrices

Mikołaj Małkiński, Jacek Mańdziuk|arXiv (Cornell University)|2022. 01. 28.

Data Visualization and Analytics인용 수 12

한 줄 요약

이 종합 검토는 레이븐의 진행성 행렬(RPMs)을 사용한 추상적 시각적 추론에 대한 딥러닝 방법을 검토하며, 벤치마크 데이터셋, 학습 기법, 신경망 아키텍처를 분석한다. 일반화 및 소수 샘플 학습의 핵심 과제를 규명하며, 특정 벤치마크에서 초인간 성능을 기록하고 있음에도 불구하고 현재 모델들이 인간 수준의 추론에 아직 도달하지 못하고 있음을 강조한다.

ABSTRACT

Abstract visual reasoning (AVR) domain encompasses problems solving which requires the ability to reason about relations among entities present in a given scene. While humans, generally, solve AVR tasks in a "natural" way, even without prior experience, this type of problems has proven difficult for current machine learning systems. The paper summarises recent progress in applying deep learning methods to solving AVR problems, as a proxy for studying machine intelligence. We focus on the most common type of AVR tasks -- the Raven's Progressive Matrices (RPMs) -- and provide a comprehensive review of the learning methods and deep neural models applied to solve RPMs, as well as, the RPM benchmark sets. Performance analysis of the state-of-the-art approaches to solving RPMs leads to formulation of certain insights and remarks on the current and future trends in this area. We conclude the paper by demonstrating how real-world problems can benefit from the discoveries of RPM studies.

연구 동기 및 목표

• 추상적 시각적 추론(AVR)에 적용된 딥러닝 접근법을 종합적으로 검토하는 것. 특히 레이븐의 진행성 행렬(RPMs)을 주요 벤치마크로 삼는다.
• 최신 딥러닝 모델이 RPM 작업을 해결하는 데 있어서 성능와 한계를 분석하며, 특히 소수 샘플 및 분포 외 일반화 설정에서의 성능을 평가한다.
• 현재 방법의 격차, 특히 샘플 효율성과 이식 가능성 측면에서의 격차를 규명하고, 향후 연구가 인간 수준의 추론 능력 향해 나아가도록 이끌기 위한 것이다.
• RPM 연구가 공간적 및 관계적 추론이 요구되는 실제 문제에 광범위하게 적용될 수 있음을 보여주는 것.
• 통합된 분류 체계를 통해 기존의 RPM 벤치마크 데이터셋, 학습 전략, 딥 네트워크 아키텍처를 분류하고 비교하는 것.

제안 방법

• 복잡성과 일반화 제도에 따라 RAVEN, PGM, Sandia, D-set/G-set, 그리고 합성 RPM을 포함한 RPM 벤치마크 데이터셋을 체계적으로 분류한다.
• 다양한 학습 기법을 검토한다. 예를 들어, 지도 학습, 다중-핫/희소 인코딩을 통한 보조 학습, 대비 학습, 데이터 증강, 분리 표현 학습, 비지도/자기지도 학습 접근법 등.
• 기본 CNN, LSTM, ResNet에 MLP 헤드를 사용한 모델부터 WReN, CoPINet, MRNet, LEN, 계층적 네트워크(예: SRAN, Rel-AIR, DCNet)에 이르기까지 다양한 딥러닝 모델을 분석한다.
• 특히 저자료 환경에서의 일반화 및 샘플 효율성을 평가하기 위해 표준 RPM 벤치마크에서 성능 지표를 사용하여 모델을 평가한다.
• 도식 2에 제시된 분류 체계를 도입하여, 벤치마크, 학습 전략, 모델 아키텍처를 기반으로 한 비교를 체계적으로 가능하게 한다.
• 다양한 데이터셋(예: RAVEN 및 PGM)에서의 아블레이션 연구와 성능 비교를 통해 모델의 강건성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 최근 딥러닝 연구에서 RPM에 사용된 주요 벤치마크 데이터셋은 무엇이며, 그 설계 선택이 모델 평가에 어떻게 영향을 미치는가?
• RQ2 지도 학습, 대비 학습, 비지도 학습, 데이터 증강 등 다양한 학습 철학이 추상적 시각적 추론에서 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ3 최신 딥러닝 모델은 분포 외 또는 소수 샘플 RPM 문제로 일반화하는 데 얼마나 효과적인가? 인간 성능과 비교해보면 어떠한가?
• RQ4 어떤 신경망 아키텍처가 RPM에서 관계적 및 추상적 추론에 가장 효과적인가? 어떤 아키텍처 혁신이 더 높은 성능을 가능하게 하는가?
• RQ5 한 유형의 RPM 작업(예: 행렬 완성)에서 훈련된 딥러닝 모델이 다른 AVR 작업(예: 다른 하나 찾기)으로 지식을 이식할 수 있는가? 이를 뒷받침하는 증거는 무엇인가?

주요 결과

• 현재 딥러닝 모델은 RAVEN 및 PGM와 같은 특정 RPM 벤치마크에서 수백만 개의 예제로 훈련된 경우 초인간 성능을 달성하지만, 이는 대규모 데이터셋에 의존한다.
• 저자료 환경에서는 성능이 급격히 떨어진다. 예를 들어 RAVEN 및 PGM에서 데이터를 감소시킨 경우(N/2^i), 정확도가著 떨어지며 샘플 효율성이 열악함을 보여준다.
• RAVEN의 한 구성에서 훈련된 모델은 다른 구성으로 일반화할 수 있으며, 이는 일부 추상화 및 전이 학습 능력을 지니고 있음을 시사하지만, 이는 여전히 제한적이고 체계적이지 않다.
• WReN, CoPINet, LEN 등의 아키텍처는 특히 시각적 요소 간 XOR 및 OR와 같은 논리 연산을 처리하는 데 강력한 성능을 보인다.
• 진전이 있었음에도 불구하고, 어떤 모델도 모든 일반화 제도(예: 분포 이탈, 소수 샘플, 분포 외)에서 인간 수준의 일반화를 달성하지 못하고 있으며, 이는 추론 강건성 측면에서 근본적인 격차가 있음을 시사한다.
• 대비 학습, 분리 표현, 비지도 사전 훈련은 일반화 향상에 유망한 방향을 제시하지만, 아직까지는 인간-AI 간 추론 격차를 메우기에는 충분하지 않다.