[논문 리뷰] CURI: A Benchmark for Productive Concept Learning Under Uncertainty

Ramakrishna Vedantam, Arthur Szlam외 3명|arXiv (Cornell University)|2020. 10. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 5

한 줄 요약

CURI는 불확실성 하에서 구성적 추론을 중심으로 한 소수 샘플, 메타학습 벤치마크를 도입하여 시각, 언어, 청각 모odalities에서의 생산적이고 체계적인 개념 학습을 평가한다. 관계 개념, 부울 연산, 변수 바인딩, 수량화를 포함한 복합적 추론을 강조한다. 모델에 종속되지 않는 '구성성 간격'을 정의하여 일반화의 어려움을 측정하며, 현재의 모델들이 시각, 언어, 청각 분야에서 모두 향상시킬 여지가 크다는 것을 드러낸다.

ABSTRACT

Humans can learn and reason under substantial uncertainty in a space of infinitely many concepts, including structured relational concepts ("a scene with objects that have the same color") and ad-hoc categories defined through goals ("objects that could fall on one's head"). In contrast, standard classification benchmarks: 1) consider only a fixed set of category labels, 2) do not evaluate compositional concept learning and 3) do not explicitly capture a notion of reasoning under uncertainty. We introduce a new few-shot, meta-learning benchmark, Compositional Reasoning Under Uncertainty (CURI) to bridge this gap. CURI evaluates different aspects of productive and systematic generalization, including abstract understandings of disentangling, productive generalization, learning boolean operations, variable binding, etc. Importantly, it also defines a model-independent "compositionality gap" to evaluate the difficulty of generalizing out-of-distribution along each of these axes. Extensive evaluations across a range of modeling choices spanning different modalities (image, schemas, and sounds), splits, privileged auxiliary concept information, and choices of negatives reveal substantial scope for modeling advances on the proposed task. All code and datasets will be available online.

연구 동기 및 목표

• 기존 벤치마크가 개방형 개념 공간에서의 체계적 일반화와 불확실성 하의 추론을 평가하지 못하는 격차를 보완하기 위해.
• 고정 클래스 분류를 초월하여 인간과 유사한 생산적 개념 학습—기존 개념의 새로운 조합을 생성하는 것—을 모델링하기 위해.
• 관찰 결과를 설명할 수 있는 다수의 가설이 존재하는 개념 유도의 모호성과 부족한 정보 상태를 반영하는 벤치마크를 도입하기 위해.
• 모델에 종속되지 않는 '구성성 간격' 지표를 사용하여 분포 외 일반화의 어려움을 정량화하기 위해.
• 시각, 언어, 청각 등 다양한 모달리티(이미지, 스키마, 사운드)와 체계적인 테스트 분할을 지원하여 복합적 일반화를 평가하기 위해.

제안 방법

• 벤치마크는 모델이 소규모 지원 세트(긍정 및 부정 예시)로부터 개념을 추론하는 메타학습 에피소드를 정의한다.
• 변수, 기수, 함수, 연산자로 구성된 형식적 문법을 통해 개념을 생성함으로써 복합적이고 관계적인 추론을 가능하게 한다.
• 유추된 개념 기반으로 질의 세트 예시를 분류하는 작업을 수행하며, 새로운 조합에 대한 일반화를 평가하기 위해 체계적인 훈련-테스트 분할을 사용한다.
• '구성성 간격'은 전체 가설 접근이 가능한 이상적인 베이지안 학습자와 메타학습 가설에 제한된 학습자 간의 성능 차이로 계산된다.
• 모델은 시각, 기호적 스키마, 장면의 사운드 렌더링 등 다양한 모달리티에서 평가되며, 이는 교차 모달 분석을 가능하게 한다.
• 벤치마크는 내재적/외재적 성질, 부울 연산, 수량화, 변수 바인딩, 개념/인스턴스 수준의 일반화 등 다양한 분할을 포함한다.

실험 결과

연구 질문

• RQ1 모델은 구성적이고 관계적인 공간에서 원자 개념(예: 색상, 모양, 수량)의 새로운 조합으로 일반화하는 데 얼마나 잘 수행하는가?
• RQ2 동일한 데이터를 설명할 수 있는 다수의 타당한 개념이 존재할 경우, 모델은 얼마나 잘 불확실성을 다루는가?
• RQ3 구성성 간격은 개념 학습에서 분포 외 일반화의 어려움을 어떻게 정량화하는가?
• RQ4 다양한 모델 아키텍처와 모달리티 표현 방식(이미지, 스키마, 사운드)은 불확실성 하의 복합적 추론 성능에 어떻게 영향을 미치는가?
• RQ5 보조 개념 정보나 특권 지식은 일반화를 향상시키는 데 기여하는가? 그리고 이는 분할에 따라 어떻게 달라지는가?

주요 결과

• 구성성 간격은 심지어 이상적인 베이지안 학습자조차도 분포 외 일반화에 어려움을 겪고 있음을 드러내며, 복합적 추론의 근본적인 과제임을 시사한다.
• 가장 어려운 분할(하드 네거티브를 포함한 수량화)에서 가장 높은 성능를 보인 모델(schematic + relation-net)도 단지 28.3% mAP에 머물러 있어 향상 여지가 크다는 것을 보여준다.
• 기호적 스키마를 사용하는 모델들이 모든 분할에서 이미지 기반 모델보다 뛰어난 성능를 보였으며, 이는 구조적 표현이 복합적 추론을 더 잘 지원한다는 것을 시사한다.
• 사운드 모달리티에서는 성능가 매우 떨어졌으며, 가장 뛰어난 모델도 단지 17.5% mAP에 머물러 있어 청각 기반 복합적 이해의 과제를 드러낸다.
• 변수 바인딩을 포함한 'Binding' 분할에서 성능 변동성이 가장 컸으며, 이는 변수 바인딩이 특히 어려운 일반화 축임을 시사한다.
• 'Concept IID'와 'Instance IID' 분할에서 성능가 가장 높았으며(최대 69.0% mAP), 이는 정체성 기반 일반화가 복합적 또는 구조적 일반화보다 더 쉽다는 것을 시사한다.