[논문 리뷰] The Human Kernel

Andrew Gordon Wilson, Christoph Dann외 2명|arXiv (Cornell University)|2015. 10. 26.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 18

한 줄 요약

이 논문은 인간 실험의 행동 데이터를 분석함으로써 기능 외삽에서 인간의 인도적 편향을 역공학적으로 분석하는 커널 학습 프레임워크를 소개한다. 인간과 유사한 커널을 학습함으로써, 이 방법은 가우시안 프로세스가 심리적으로 타당한 방식으로 외삽할 수 있도록 하여 인간과 모델 기반 학습에서 옥카머의 면모에 대한 통찰을 제공한다.

ABSTRACT

Bayesian nonparametric models, such as Gaussian processes, provide a compelling framework for automatic statistical modelling: these models have a high degree of flexibility, and automatically calibrated complexity. However, automating human expertise remains elusive; for example, Gaussian processes with standard kernels struggle on function extrapolation problems that are trivial for human learners. In this paper, we create function extrapolation problems and acquire human responses, and then design a kernel learning framework to reverse engineer the inductive biases of human learners across a set of behavioral experiments. We use the learned kernels to gain psychological insights and to extrapolate in human-like ways that go beyond traditional stationary and polynomial kernels. Finally, we investigate Occam's razor in human and Gaussian process based function learning.

연구 동기 및 목표

• 표준 커널 기반 모델을 초월하여 인간이 어떻게 함수를 일반화하는지 조사하기 위해.
• 통제된 행동 실험을 통해 인간의 기능 외삽에 기반한 인도적 편향을 규명하기 위해.
• 인간과 유사한 일반화 행동을 캡처하고 복제할 수 있는 커널 학습 프레임워크를 개발하기 위해.
• 옥카머의 원리와 모델 복잡도 측면에서 인간과 가우시안 프로세스 학습을 비교하기 위해.

제안 방법

• 기능 외삽 작업에 대한 인간의 반응을 수집하기 위해 행동 실험을 수행하였다.
• 인간 데이터로부터 인도적 편향을 추론하기 위해 베이지안 비모수적 커널 학습 프레임워크를 설계하였다.
• 학습된 커널을 사용한 가우시안 프로세스를 활용해 인간과 유사한 외삽 행동을 모델링하였다.
• 인간이 제공한 기능 외삽 반응을 사용하여 커널 학습 모델을 훈련시켰다.
• 학습된 커널이 분포 외 일반화 작업에서 인간과 유사한지 평가하기 위해 검증하였다.
• 옥카머의 원리 분석을 적용하여 인간과 모델 기반 학습에서의 단순성 선호도를 비교하였다.

실험 결과

연구 질문

• RQ1 학습 데이터를 초월해 기능을 외삽할 때 인간은 어떤 인도적 편향을 사용하는가?
• RQ2 인간의 기능 외삽 행동은 표준 가우시안 프로세스 모델의 행동과 어떻게 다를까?
• RQ3 기능 학습에서 인간과 유사한 일반화 행동을 재현할 수 있는 커널을 학습할 수 있는가?
• RQ4 인간과 가우시안 프로세스는 기능 학습에서 옥카머의 원리를 어느 정도 따르는가?
• RQ5 학습된 커널은 전통적인 정적 및 다항식 커널과 비교해 외삽 성능에서 어떻게 다를까?

주요 결과

• 학습된 커널 모델은 미리보지 않은 기능 외삽 작업에서 인간과 유사한 외삽 행동을 성공적으로 재현하였다.
• 인간 학습자들은 표준 정적 및 다항식 커널과는 다름없이 특정한 구조적 패턴을 선호하는 인도적 편향을 보였다.
• 커널 학습 프레임워크는 단순하고 구조적인 함수를 선호하는 등의 인간 기능 학습의 심리적 규칙성을 캡처하였다.
• 인간은 표준 가우시안 프로세스보다 옥카머의 원리를 더 강하게 따르며, 더 단순한 모델을 선호하였다.
• 학습된 커널은 분포 외 외삽에서 표준 커널보다 더 잘 일반화되어, 개선된 인도적 편향 일치를 나타내었다.
• 연구는 인간의 기능 학습이 기존 커널이 포괄하지 못하는 구조적 비정적 인도적 편향을 포함하고 있음을 드러내었다.