[논문 리뷰] Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and Reasoning

Weili Nie, Zhiding Yu외 4명|arXiv (Cornell University)|2020. 10. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 20

한 줄 요약

이 논문은 인간 수준의 개념 학습을 모델링하기 위해 프로그램 유도된 LOGO 언어를 사용해 생성한 12,000개의 인간이 이해할 수 있는 시각적 추론 문제인 Bongard-LOGO를 소개한다. 이는 최신 딥 러닝 모델이 인간보다 상당히 떨어지는 성능을 보이며, 무한한 어휘로의 일반화, 맥락 의존적이고 유사성 기반의 시각적 추론을 모델링하는 데 있어 심각한 격차가 있음을 드러낸다.

ABSTRACT

Humans have an inherent ability to learn novel concepts from only a few samples and generalize these concepts to different situations. Even though today's machine learning models excel with a plethora of training data on standard recognition tasks, a considerable gap exists between machine-level pattern recognition and human-level concept learning. To narrow this gap, the Bongard problems (BPs) were introduced as an inspirational challenge for visual cognition in intelligent systems. Despite new advances in representation learning and learning to learn, BPs remain a daunting challenge for modern AI. Inspired by the original one hundred BPs, we propose a new benchmark Bongard-LOGO for human-level concept learning and reasoning. We develop a program-guided generation technique to produce a large set of human-interpretable visual cognition problems in action-oriented LOGO language. Our benchmark captures three core properties of human cognition: 1) context-dependent perception, in which the same object may have disparate interpretations given different contexts; 2) analogy-making perception, in which some meaningful concepts are traded off for other meaningful concepts; and 3) perception with a few samples but infinite vocabulary. In experiments, we show that the state-of-the-art deep learning methods perform substantially worse than human subjects, implying that they fail to capture core human cognition properties. Finally, we discuss research directions towards a general architecture for visual reasoning to tackle this benchmark.

연구 동기 및 목표

• 기계적 패턴 인식과 인간 수준의 시각적 개념 학습 사이의 지속적인 격차를 해소하기 위해, 특히 소수의 예시, 맥락 의존적이고 유사성 기반의 추론에 초점을 맞춘다.
• 인간 인지의 핵심 특성인 맥락 의존적 인지와 무한한 어휘 일반화를 반영한 확장 가능하고 인간이 이해할 수 있는 벤치마크를 개발한다.
• 기존의 딥 러닝 모델을 도전하기 위해, 표준 인식 작업을 넘어서 조합적이고 추상적인 시각적 추론을 강조하는 벤치마크를 만든다.
• 강력한 시각적 인지 능력을 갖춘 신경망과 기호적 추론을 통합한 새로운 컴퓨팅 아키텍처의 개발을 유도한다.
• 현대적인 데이터 기반 방법에 적합한 표준화된 대규모 데이터셋을 제공하면서도, 원래의 Bongard 문제의 인지 복잡성을 유지한다.

제안 방법

• 행동 중심의 LOGO 언어를 사용한 프로그램 유도 생성 기법을 활용해 절차적 형태 시퀀스를 가진 12,000개의 시각적으로 해석 가능한 문제를 합성한다.
• 세 가지 핵심 인지 성질인 맥락 의존적 인지, 유사성 기반 인지, 무한한 어휘로의 소수의 예시 학습을 중심으로 문제를 설계한다.
• 크기, 방향, 공간적 위치를 해소 요소로 사용하지 않고, 형태의 선분, 카테고리, 속성(예: 볼록성, 대칭성, 삼각형) 기반으로 개념을 정의한다.
• 모델이 소수의 예시를 바탕으로 테스트 이미지를 집합 A(긍정) 또는 B(부정)로 분류해야 하는 소수의 예시 개념 학습 문제로 작업을 정의한다.
• 최신의 메타학습 및 추상적 추론 알고리즘을 활용해 인간 참가자와의 성능 비교를 수행한다.
• 현재 기반 학습 접근법의 한계를 특정하기 위해 추론 일반화 및 인도크티브 비이론 분석을 포함한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 현대 딥 러닝 모델은 맥락 의존적이고 유사성 기반의 인지를 요구하는 시각적 추론 작업에서 인간 수준의 성능을 달성할 수 있는가?
• RQ2 현재의 메타학습 및 추상적 추론 모델은 최소한의 감독 하에 새로운 시각적 개념으로 얼마나 잘 일반화되는가?
• RQ3 무한한 어휘로의 인간 유사 소수의 예시 시각적 개념 학습을 모델링하기 위해 어떤 인도크티브 비이론이 필수적인가?
• RQ4 딥 러닝 모델의 실패 패턴은 Bongard 스타일 문제에서 인간의 추론 패턴과 어떻게 다를까?
• RQ5 하이브리드 신경 기반 기호적 아키텍처는 이 벤치마크에서 인간의 시각적 인지의 조합적이고 추상적인 성질을 더 잘 포착할 수 있는가?

주요 결과

• 메타학습 및 추상적 추론 네트워크를 포함한 최신 딥 러닝 모델은 Bongard-LOGO 벤치마크에서 인간 참가자보다 상당히 떨어지는 성능을 보였다.
• 메타학습 방법이 다른 접근 방식보다 뛰어나 성과를 내어, '학습을 학습하는 능력'이 소수의 예시 시각적 추론에서 일반화에 있어 핵심임을 시사한다.
• 다양한 메타학습 변형은 각각 다른 작업 유형에서 강점을 보이며, 어떤 단일 아키텍처도 모든 개념 유형에 대해 보편적으로 일반화되지 않음을 시사한다.
• 인간과 기계 간의 성능 격차는 현재 모델이 맥락 의존적 인지와 유사성 기반 추론을 포착하지 못하고 있음을 드러낸다.
• 분석 실험 결과, 모델은 추상적 속성과 관계 개념에서 어려움을 겪으며, 특히 동일한 형태의 해석이 맥락에 따라 변화할 경우에 더욱 심각한 문제를 보였다.
• 벤치마크는 현재 데이터 기반 접근법이 시각 인지에서 조합성과 기호적 추상화를 모델링하는 데 있어 근본적인 한계를 드러냈다.