[논문 리뷰] Meta-Learning of Compositional Task Distributions in Humans and Machines.

Sreejan Kumar, Ishita Dasgupta외 3명|arXiv (Cornell University)|2020. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 2

한 줄 요약

이 논문은 메타강화학습에서 인간과 기계 학습을 대비시킬 수 있는 구성적 작업 분포를 제안한다. 인간은 구조적이고 생성적인 모델을 사용해 구성적 작업에서 더 잘 일반화하는 반면, 표준 메타학습자는 통계적으로 동일한 비구성적(null) 작업에서 인간을 능가함을 보여주며, 현재 메타학습 접근법에 핵심적인 격차가 있음을 드러낸다.

ABSTRACT

Modern machine learning systems struggle with sample efficiency and are usually trained with enormous amounts of data for each task. This is in sharp contrast with humans, who often learn with very little data. In recent years, meta-learning, in which one trains on a family of tasks (i.e. a task distribution), has emerged as an approach to improving the sample complexity of machine learning systems and to closing the gap between human and machine learning. However, in this paper, we argue that current meta-learning approaches still differ significantly from human learning. We argue that humans learn over tasks by constructing compositional generative models and using these to generalize, whereas current meta-learning methods are biased toward the use of simpler statistical patterns. To highlight this difference, we construct a new meta-reinforcement learning task with a compositional task distribution. We also introduce a novel approach to constructing a task with the same statistical complexity as the compositional distribution but without explicit compositionality. We train a standard meta-learning agent, a recurrent network trained with model-free reinforcement learning, and compare it with human performance across the two task distributions. We find that humans do better in the compositional task distribution whereas the agent does better in the non-compositional null task distribution -- despite comparable statistical complexity. This work highlights a particular difference between human learning and current meta-learning models, introduces a task that displays this difference, and paves the way for future work on human-like meta-learning.

연구 동기 및 목표

• 현재 메타학습 에이전트와 유사한 통계적 작업 복잡도를 가짐에도 불구하고 인간이 더 효과적으로 일반화하는 이유를 탐구하기 위해.
• 인간은 구성적 생성 모델을 사용하는 반면 메타학습자는 더 단순한 통계적 패턴에 의존한다는 핵심적인 학습 메커니즘의 차이를 규명하기 위해.
• 이 차이를 고립시키기 위해 명시적인 구성적 구조를 가진 새로운 메타강화학습 작업을 설계하기 위해.
• 동일한 통계적 복잡도를 가지지만 구성성이 없는 제어 가능한 비교를 위한 비구성적(null) 작업을 설계하기 위해.
• 두 작업 분포에 걸쳐 인간과 에이전트의 성능을 평가하고 비교하여 학습 전략의 분리 현상을 드러내기 위해.

제안 방법

• 구조적이고 계층적인 작업 구성 요소를 기반으로 한 구성적 작업 분포를 가진 새로운 메타강화학습 환경을 설계하기 위해.
• 동일한 통계적 특성(예: 동일한 보상 분포, 상태-행동 공간)을 가지지만 명시적인 구성적 구조가 없는 대응되는 비구성적(null) 작업 분포를 생성하기 위해.
• 재귀적 네트워크 아키텍처를 사용해 모델-프리 강화학습을 통해 표준 메타학습자를 학습시키기 위해.
• 통제된 실험 조건 하에서 인간의 성능 데이터를 두 구성적 작업과 비구성적 작업 분포 모두에서 수집하기 위해.
• 두 작업 유형에 걸쳐 인간과 메타학습자 간의 일반화 성능 및 샘플 효율성 비교하기 위해.
• 통계적 동등성 검증을 통해 비구성적 작업이 구성적 작업과 동일한 복잡도를 가지며, 구성성이 핵심 변수로 고립됨을 확인하기 위해.

실험 결과

연구 질문

• RQ1 명시적인 구성적 구조를 가진 작업에서 인간이 표준 메타학습자보다 뛰어나게 성과하는가?
• RQ2 유사한 통계적 복잡도를 가진 작업에서 구성성이 없는 경우 메타학습자가 인간보다 더 뛰어난 성능을 내는가?
• RQ3 메타학습자와 인간 간의 성능 격차는 작업 설계에서 명시적인 구성성의 유무 때문인가?
• RQ4 동일한 통계적 복잡도를 가지지만 비구성적인 작업은 구성성의 영향을 고립시키기 위한 유효한 제어 조건이 될 수 있는가?
• RQ5 현재 메타학습 모델들은 인간의 학습 방식을 모방하는 방식으로 구성적 구조를 효과적으로 활용하지 못하는가?

주요 결과

• 인간은 구성적 작업 분포에서 메타학습자보다 유의미하게 뛰어난 성능을 보이며, 구조적이고 계층적인 작업에서 뛰어난 일반화 능력을 입증한다.
• 비구성적 null 작업 분포에서 비록 동일한 통계적 복잡도를 가짐에도 불구하고 메타학습자가 인간을 능가함을 확인하여, 통계적 패턴에 대한 편향이 존재함을 시사한다.
• 성능 격차는 작업 복잡도 때문이 아니라 명시적인 구성성의 유무에 기인한 것이며, 이는 작업 설계의 핵심 요소임을 입증한다.
• 인간은 일반화를 위해 구성적 생성 모델을 사용하는 것처럼 보이며, 메타학습자는 더 단순한 비구성적 통계적 패턴에 의존한다.
• 결과는 학습 메커니즘의 근본적인 분리 현상을 드러내며, 인간은 구조를 활용하는 반면 현재 메타학습자는 구성적 작업 구조를 효과적으로 활용하지 못한다.
• 이 작업은 현재 메타학습의 핵심적 한계를 규명한다: 통계적 복잡도가 일치하더라도 인간처럼 구성적 일반화를 모방하지 못함을 보여준다.