[논문 리뷰] Using Natural Language and Program Abstractions to Instill Human Inductive Biases in Machines

Sreejan Kumar, Carlos G. Correa외 8명|arXiv (Cornell University)|2022. 05. 23.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 자연어 기술과 프로그램 추상화—특히 학습된 원시 기능을 포함한 것들—를 사용하여 메타강화학습 에이전트를 공학습시켜 인간과 유사한 인덕티브 편향을 심어주는 방법을 제안한다. 인간이 생성한 언어와 라이브러리 학습을 통한 프로그램 유도를 활용함으로써, 이 방법은 인간이 능숙한 과제에서 일반화 능력을 향상시키고 인간이 떨어진 과제에서 성능을 떨어뜨리며, 이러한 표현에서의 압축을 통한 추상화가 더 인간다운 행동을 이끌어낸다는 것을 보여준다.

ABSTRACT

Strong inductive biases give humans the ability to quickly learn to perform a variety of tasks. Although meta-learning is a method to endow neural networks with useful inductive biases, agents trained by meta-learning may sometimes acquire very different strategies from humans. We show that co-training these agents on predicting representations from natural language task descriptions and programs induced to generate such tasks guides them toward more human-like inductive biases. Human-generated language descriptions and program induction models that add new learned primitives both contain abstract concepts that can compress description length. Co-training on these representations result in more human-like behavior in downstream meta-reinforcement learning agents than less abstract controls (synthetic language descriptions, program induction without learned primitives), suggesting that the abstraction supported by these representations is key.

연구 동기 및 목표

• 자연어와 프로그램 추상화가 인공 에이전트를 훈련시키는 데 있어 인간의 인덕티브 편향을 저장소로 활용할 수 있는지 조사하기 위해.
• 이러한 표현을 공학습함으로써 메타강화학습 에이전트가 더 인간다운 행동을 보이는지 확인하기 위해.
• 특히 언어와 프로그램 표현에서의 압축을 통한 추상화가 일반화 능력 향상과 인간다운 인덕티브 편향을 이끌어내는지 살펴보기 위해.
• 인간이 생성한 vs. 합성된 언어와 프로그램 추상화, 그리고 학습된 원시 기능 유무를 고려한 표현의 효과성을 비교하기 위해.
• 더 큰 환경에서 이러한 표현을 활성 학습과 데이터 증강을 통해 확장할 수 있는지 탐색하기 위해.

제안 방법

• 자연어 과제 기술과 프로그램 추상화에서 유도된 표현을 예측하는 보조 과제를 사용하여 메타강화학습 에이전트를 공학습시키기 위해.
• 2D 이진 격자 환경에서 기능 전용 언어(DSL)를 사용하여 프로그램 생성을 수행하며, 기본 원시 기능과 학습된 라이브러리 추상화를 포함하기 위해.
• 인간의 추상화를 모방하기 위해, 기술 길이를 압축하는 고차원 프로그래밍 원시 기능을 자동으로 발견하고 통합하기 위해 라이브러리 학습을 적용하기 위해.
• 메타-RL 훈련 중에 인간이 생성한 언어 기술과 학습된 원시 기능을 포함한 프로그램을 보조 지도로 사용하여 에이전트가 예측하도록 훈련시키기 위해.
• 인간 성능을 기준으로 삼아, 합성 언어, 기본 DSL 프로그램, 라이브러리 확장 프로그램을 포함한 제어 조건 간의 성능을 비교하기 위해.
• 쿠마르 등[10]이 설계한 과제 분포를 사용하여 인덕티브 편향의 미세한 차이를 식별할 수 있도록 하여 에이전트 행동의 세밀한 분석을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 인간이 생성한 자연어 기술을 공학습시킴으로써 메타-RL 에이전트가 인간의 인덕티브 편향에 더 잘 맞출 수 있는가?
• RQ2 학습된 원시 기능을 포함한 프로그램 추상화—특히 기술 길이를 압축하는 것들—을 사용하면 에이전트가 더 인간다운 행동을 보이는가?
• RQ3 다양한 형태의 표현(합성 대비 인간 언어, 기본 DSL 대비 라이브러리 확장 프로그램)이 인간다운 인덕티브 편향의 부상에 어떤 영향을 미치는가?
• RQ4 인간의 언어 기술과 프로그램 표현 간의 추상화 수준 사이에 측정 가능한 상관관계가 존재하는가? 이는 공통된 인지적 압축 메커니즘을 시사하는가?
• RQ5 언어와 프로그램 표현에서의 추상화 수준이 하류 메타-RL 과제에서 일반화 능력 향상과 인간다운 행동을 얼마나 이끌어내는가?

주요 결과

• 학습된 원시 기능을 포함한 인간이 생성한 언어와 프로그램으로 공학습한 에이전트는 합성 언어나 기본 DSL 프로그램으로 훈련한 에이전트보다 훨씬 더 인간다운 행동을 보였다.
• 학습된 원시 기능을 포함한 프로그램 추상화의 사용은 인간이 떨어진 과제에서 성능이 떨어지는 데에 측정 가능한 영향을 미쳤으며, 이는 에이전트가 더 인간다운 인덕티브 편향을 채택했다는 것을 시사한다.
• 인간이 생성한 언어 기술과 라이브러리 학습을 사용해 합성된 프로그램 사이에 강한 상관관계가 관찰되었으며, 이는 둘 다 유사한 방식으로 고차원 추상화를 사용해 정보를 압축한다는 것을 시사한다.
• 특히 언어와 프로그램 추상화에서의 압축을 통한 추상화를 지원하는 표현을 공학습하는 것이, 하류 메타-RL 에이전트에서 인간다운 행동을 이끌어내는 핵심 요인임을 발견했다.
• 인간의 언어와 라이브러리 확장 프로그램을 사용해 훈련한 에이전트는 인간이 능숙한 과제 분포에서 제어 조건을 모두 능가하는 성능을 보였으며, 이는 일반화 능력 향상을 보여주었다.
• 결과적으로, 자연어와 프로그램 표현에서의 압축을 통한 추상화가 인공 에이전트에 인간다운 인덕티브 편향을 심는 데 핵심적인 메커니즘임을 시사한다.