[논문 리뷰] Meta-Learning of Structured Task Distributions in Humans and Machines

Sreejan Kumar, Ishita Dasgupta외 3명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 27인용 수 5

한 줄 요약

이 논문은 메타강화학습을 위한 구조적 작업 분포를 생성하기 위해 조합적 문법을 도입하며, 이를 통계적으로 동일하지만 비조합적('null') 분포와 대비시킨다. 인간은 구조적 작업에서 에이전트를 앞서며, 반면 에이전트는 null 작업에서 인간을 앞서는 이중 이분리 현상을 입증함으로써, 표준 메타학습자들이 조합적 규칙이 아닌 통계적 패턴에 의존한다는 점을 드러내며, 인간과 인공지능 학습 간의 학습 편향의 핵심 격차를 폭 드러낸다.

ABSTRACT

In recent years, meta-learning, in which a model is trained on a family of tasks (i.e. a task distribution), has emerged as an approach to training neural networks to perform tasks that were previously assumed to require structured representations, making strides toward closing the gap between humans and machines. However, we argue that evaluating meta-learning remains a challenge, and can miss whether meta-learning actually uses the structure embedded within the tasks. These meta-learners might therefore still be significantly different from humans learners. To demonstrate this difference, we first define a new meta-reinforcement learning task in which a structured task distribution is generated using a compositional grammar. We then introduce a novel approach to constructing a "null task distribution" with the same statistical complexity as this structured task distribution but without the explicit rule-based structure used to generate the structured task. We train a standard meta-learning agent, a recurrent network trained with model-free reinforcement learning, and compare it with human performance across the two task distributions. We find a double dissociation in which humans do better in the structured task distribution whereas agents do better in the null task distribution -- despite comparable statistical complexity. This work highlights that multiple strategies can achieve reasonable meta-test performance, and that careful construction of control task distributions is a valuable way to understand which strategies meta-learners acquire, and how they might differ from humans.

연구 동기 및 목표

• 신경망 내 메타학습자가 인간처럼 구조적이고 조합적인 표현을 진정으로 학습하는지 조사하기 위해.
• 메타학습 평가의 과제를 해결하기 위해 통계적 복잡도는 동일하지만 명시적 조합적 구조가 없는 제어 작업 분포를 구성하기 위해.
• 구조적 및 null 작업 분포 간 인간과 에이전트의 성능을 비교하여 학습 전략의 차이를 규명하기 위해.
• 메타학습자가 구조적 작업에서 성능 향상을 보이는 것이 진정으로 구조적 추상화를 위한 것이 아니라, 통계적 규칙성에 대한 메타유도 편향 때문일 수 있음을 입증하기 위해.
• 아키텍처적 유도 편향이 메타학습자가 무엇을 학습하는지 크게 결정하며, 단지 작업 분포 설계만으로는 구조적 추론의 습득을 보장할 수 없다고 주장하기 위해.

제안 방법

• 간단한 규칙에서 복잡한 환경을 재귀적으로 구성할 수 있는 조합적 문법을 사용해 메타강화학습 환경를 설계함.
• 동일한 통계적 복잡도를 가지지만 어떤 규칙 기반 조합성도 없는 'null 작업 분포'를 생성함. 이는 동일한 통계적 특성을 가진 무작위 샘플링을 통해 실현함.
• 구조적 분포와 null 분포 양쪽 모두에서 표준 순환 신경망을 모델-프리 강화학습으로 훈련하여 메타테스트 성능 평가함.
• 두 작업 분포에서 인간의 행동 실험을 수행하여 학습 전략과 성능 평가함.
• 두 분포 간 인간과 에이전트의 성능를 비교하여 이중 이분리 분석을 수행함으로써, 기저 학습 전략의 차이를 고립함.
• 후속 실험에서 컨볼루션 신경망을 사용하여 통계적 학습과 조합적 규칙 학습을 추가로 분리함. 이는 에이전트가 조합적 규칙이 아닌 통계적 패턴에 의존함을 확인함.

실험 결과

연구 질문

• RQ1 구조적 작업 분포에서 훈련된 메타학습자가 실제로 기저의 조합적 규칙을 학습하는지, 아니면 통계적 규칙성을 악용하는지?
• RQ2 인간 학습자와 인공지능 메타학습자 간에, 구조적 분포와 통계적으로 유사하지만 비조합적 분포 간의 일반화 능력에서 어떤 차이가 있는가?
• RQ3 신경망 아키텍처의 메타유도 편향이 메타학습 과제에서 조합적 구조를 학습할지, 통계적 상관관계를 학습할지 결정하는 데 얼마나 기여하는가?
• RQ4 동일한 통계적 복잡도를 가지지만 조합적 구조가 없는 제어 작업 분포가 메타학습자가 구조적 추론 능력을 습득했는지 평가하는 유효한 기준이 될 수 있는가?
• RQ5 어떤 아키텍처나 훈련 수정이 메타학습자가 통계 패턴 매칭을 넘어서 조합적 규칙 학습을 선호하도록 만들 수 있는가?

주요 결과

• 인간은 구조적 작업 분포에서 일관되게 에이전트를 앞서며, 이는 기저의 조합적 규칙을 학습하고 사용하는 강력한 편향을 시사한다.
• 에이전트는 통계적 복잡도가 동일한 null 작업 분포에서 인간을 앞서며, 이는 통계 패턴을 조합적 구조보다 선호함을 보여준다.
• 이중 이분리 현상이 관찰됨: 인간은 구조에서 유리하고, 에이전트는 통계적 규칙성에서 유리함으로써, 상호 보완적인 학습 전략이 드러남.
• 순환 메타학습자가 구조적 분포에서의 성능 향상은 규칙 학습 때문이 아니라 후행 통계적 특성 때문임을 시사하며, 이는 통계 패턴에 대한 메타유도 편향을 시사함.
• 컨볼루션 에이전트를 사용한 후속 실험은 통계적 학습만으로도 높은 성능를 달성할 수 있음을 확인함으로써, 통계적 학습과 조합적 규칙 사용을 추가로 분리함.
• 결과적으로 표준 메타학습자가 구조적 작업 분포에서 훈련된다고 해도, 아키텍처적 메타유도 편향이 통계적 일반화를 선호함으로써 인간과 동일한 유도 편향을 습득하지 못함을 입증함.