[논문 리뷰] Learning Inductive Biases with Simple Neural Networks

Reuben Feinman, Brenden M. Lake|arXiv (Cornell University)|2018. 02. 08.

Child and Animal Learning Development참고 문헌 3인용 수 28

한 줄 요약

이 논문은 단순한 신경망—전방향 및 컨볼루션 신경망—이 추상적 또는 합성 이미지의 카테고리당 최소 3~6개의 예제만으로도 형태 편향(shape bias)을 획득함을 보여준다. 이러한 인도적 편향(inductive bias)의 출현은 어휘 학습의 가속화와 강하게 상관되며, 어린이의 발달 패턴을 반영하여 신경망이 최소한의 데이터로 효율적이고 인간과 유사한 개념 습득을 학습할 수 있음을 시사한다.

ABSTRACT

People use rich prior knowledge about the world in order to efficiently learn new concepts. These priors - also known as "inductive biases" - pertain to the space of internal models considered by a learner, and they help the learner make inferences that go beyond the observed data. A recent study found that deep neural networks optimized for object recognition develop the shape bias (Ritter et al., 2017), an inductive bias possessed by children that plays an important role in early word learning. However, these networks use unrealistically large quantities of training data, and the conditions required for these biases to develop are not well understood. Moreover, it is unclear how the learning dynamics of these networks relate to developmental processes in childhood. We investigate the development and influence of the shape bias in neural networks using controlled datasets of abstract patterns and synthetic images, allowing us to systematically vary the quantity and form of the experience provided to the learning algorithms. We find that simple neural networks develop a shape bias after seeing as few as 3 examples of 4 object categories. The development of these biases predicts the onset of vocabulary acceleration in our networks, consistent with the developmental process in children.

연구 동기 및 목표

• 단순한 신경망이 어린이들에서 관찰되는 형태 편향과 같은 인도적 편향을 획득할 수 있는지 조사하기 위해.
• 신경망에서 형태 편향 습득을 위한 최소 데이터 요구량을 규명하기 위해.
• 인공 네트워크에서 형태 편향의 발달과 어휘 학습 가속화 사이의 관계를 검토하기 위해.
• 초기 어휘 학습 기간 동안 인간 어린이에서 관찰되는 학습 역학과 신경망의 학습 역학을 비교하기 위해.
• 형태 편향이 대규모 이미지 인식 모델의 데이터 효율성을 향상시키는 사전 조건으로 기능할 수 있는지 탐색하기 위해.

제안 방법

• 추상적인 비트 패턴과 4~8개의 물체 카테고리가 포함된 고차원 합성 이미지로 구성된 통제된 합성 데이터셋을 생성하였다.
• 자연어 빈도 분포를 반영하기 위해 클래스 가중 샘플링을 사용한 교차 엔트로피 손실을 사용하여 신경망을 훈련시켰다 (60% 물체 이름, 20% 색상, 20% 질감).
• 형태 편향은 2차 일반화 테스트를 통해 측정되었으며, 네트워크가 새로운 예시에 대해 형태 기반으로 새로운 이름을 적용하는지 평가하였다.
• 어휘 크기는 형태 카테고리 중에서 훈련 정확도가 ≥80%에 도달한 수로 추적되었다.
• 30 에포크 동안 10회 세션에 걸쳐 학습 역학을 분석하였으며, 형태 선택과 어휘 성장 간 상관 계수를 계산하였다.
• 다른 랜덤 시드를 가진 20개의 네트워크에서 실험을 반복하여 결과의 강건성을 확보하였다.

실험 결과

연구 질문

• RQ1 카테고리당 최소 3개의 예제만으로도 단순한 신경망이 형태 편향을 획득할 수 있는가?
• RQ2 입력 자극의 복잡도(추상 패턴 대 합성 이미지)가 형태 편향의 출현에 어떤 영향을 미치는가?
• RQ3 형태 편향의 발달과 신경망 내 어휘 학습 가속화 사이에 시간적 상관관계가 존재하는가?
• RQ4 신경망의 학습 역학이 어린이의 초기 어휘 학습 과정에서 관찰되는 것과 어느 정도 유사한가?
• RQ5 대규모 모델을 형태 편향으로 초기화하면 이미지 인식에서 데이터 효율성이 향상되는가?

주요 결과

• 단순한 전방향 신경망은 추상 비트 패턴 데이터셋에서 4개의 물체 카테고리에 대해 카테고리당 3개의 예제만으로도 형태 편향을 획득하였다.
• 컨볼루션 신경망은 고차원 합성 이미지 데이터셋에서 8개의 물체 카테고리에 대해 카테고리당 최소 6개의 예제만으로도 형태 편향을 획득하였다.
• 10회 훈련 세션 동안 20개의 네트워크에서 누적된 형태 선택과 어휘 성장 간 강한 상관관계(r = 0.76, p < 0.001)를 발견하였다.
• 형태 편향의 발달은 네트워크 내 어휘 가속화의 시작을 예측하였으며, 어린이의 발달 패턴과 일치하였다.
• 네트워크의 학습 역학은 특히 초기 어휘 학습 단계에서 인간 어린이에서 관찰되는 것과 유사하게 나타났다.
• 이 결과들은 신경망이 최소한의 훈련 데이터로도 계층 베이지안 모델과 어린이 수준의 데이터 효율성을 달성할 수 있음을 시사한다.