[논문 리뷰] Meta-learners' learning dynamics are unlike learners'

Neil C. Rabinowitz|arXiv (Cornell University)|2019. 05. 03.

Machine Learning and Data Classification참고 문헌 13인용 수 8

한 줄 요약

이 논문은 메타학습된 LSTM 모델(Meta-Learners)이 표준 딥러닝 및 강화학습 모델(Learners)과는 근본적으로 다른 학습 역학을 보임을 보여준다. 표준 모델은 계단식으로 계층적인 방식으로 작업 구조를 드러내는 반면, Meta-Learners는 메타학습 중에 내장된 사전 정보 덕분에 모든 구조적 구성 요소를 동시에 파악한다—베이즈 최적 추론과 유사하게 말이다.

ABSTRACT

Meta-learning is a tool that allows us to build sample-efficient learning systems. Here we show that, once meta-trained, LSTM Meta-Learners aren't just faster learners than their sample-inefficient deep learning (DL) and reinforcement learning (RL) brethren, but that they actually pursue fundamentally different learning trajectories. We study their learning dynamics on three sets of structured tasks for which the corresponding learning dynamics of DL and RL systems have been previously described: linear regression (Saxe et al., 2013), nonlinear regression (Rahaman et al., 2018; Xu et al., 2018), and contextual bandits (Schaul et al., 2019). In each case, while sample-inefficient DL and RL Learners uncover the task structure in a staggered manner, meta-trained LSTM Meta-Learners uncover almost all task structure concurrently, congruent with the patterns expected from Bayes-optimal inference algorithms. This has implications for research areas wherever the learning behaviour itself is of interest, such as safety, curriculum design, and human-in-the-loop machine learning.

연구 동기 및 목표

• 메타학습된 모델이 표준 딥러닝 및 강화학습 모델과 동일한 학습 궤적을 따르는지 조사하기 위해.
• 샘플 효율적인 메타학습 모델이 샘플 비효율적인 학습자들과는 근본적으로 다른 순서로 작업 구조를 학습하는지 결정하기 위해.
• 메타학습이 샘플 효율성 외에도 신경망의 내부 루프 학습 역학에 어떻게 영향을 미치는지 탐구하기 위해.
• Meta-Learners의 학습 역학이 특히 구조화된 작업에서 베이즈 최적 추론 패턴을 반영하는지 평가하기 위해.
• 안전성 및 커리큘럼 설계에 관련된 초기 학습 기간 동안 메타학습된 모델과 비메타학습된 모델 간의 행동적 차이에 대한 통찰을 제공하기 위해.

제안 방법

• Meta-Learners는 외부 루프에서 메타학습을 통해 내부 루프에서 새로운 작업에 신속하게 적응할 수 있도록 LSTMs로 구현된다.
• Learners는 메타학습 없이 개별 작업에서 SGD/Adam으로 훈련되는 표준 딥 네트워크(MLPs, 선형 모델) 또는 강화학습 에이전트이다.
• 세 가지 구조화된 작업이 사용된다: 선형 회귀(Saxe et al., 2013), 비선형 회귀(Rahaman et al., 2018; Xu et al., 2018), 그리고 맥락 기반 밴드잇(Schaul et al., 2019).
• 학습 역학은 내부 루프 적응 과정 동안 다양한 구조적 구성 요소(예: 특이 모드, 푸리에 모드, 행동-가치 구조)가 얼마나 빨리 포착되는지 측정하여 분석된다.
• 외부 루프는 작업 분포에 대해 Meta-Learners를 훈련시어 내부 루프 학습이 어떻게 진행될지를 결정하는 사전 정보를 통합한다.
• 메타학습의 영향을 분리하기 위해 제어 실험에서 동일한 아키텍처와 하이퍼파라미터를 사용하여 Meta-Learners와 Learners 간의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 Meta-Learners는 내부 루프 적응 과정에서 표준 Learners와 동일한 순서로 작업 구조를 학습하는가?
• RQ2 Meta-Learners의 학습 역학은 구조화된 작업에서 베이즈 최적 추론 알고리즘과 어떻게 비교되는가?
• RQ3 Meta-Learners의 학습 궤적은 얼마나 메타학습 중에 내장된 사전 정보를 반영하는가?
• RQ4 동일한 네트워크 아키텍처(예: LSTM)가 Meta-Learner로 사용될 때와 표준 Learner로 사용될 때 다른 학습 역학을 보일 수 있는가?
• RQ5 이러한 다른 역학적 특성들이 안전성, 커리큘럼 설계, 인간이 개입하는 기계 학습에 어떤 영향을 미치는가?

주요 결과

• Meta-Learners는 Learners와 달리 모든 작업 구조를 동시에 드러내며, 이는 Learners가 계단식으로 계층적인 방식으로 구조를 드러내는 것과 대조된다.
• Meta-Learners의 학습 역학은 베이즈 최적 추론 알고리즘에서 기대되는 것과 매우 유사하게 나타나, 메타학습으로부터 강력한 인덕티브 바이어스를 활용하고 있음을 시사한다.
• 아키텍처와 하이퍼파라미터를 동일하게 설정한 경우(예: LSTM 기반 Learners)에도 Meta-Learners는 여전히 독특한 학습 역학을 보이며, 이는 메타학습의 영향임을 입증한다.
• 작업 구성 요소의 스케일된 분포에서 훈련된 Meta-Learners는 이동된 그러나 정량적으로 동일한 학습 역학을 보이며, 이는 학습 궤적이 메타학습된 사전 정보에 의해 결정됨을 확인한다.
• 비선형 회귀 작업에서 푸리에 모드 K=3에서 K=6 사이의 밴드패스를 가진 Meta-Learners는 저주파 성분을 학습하지 못함을 보여주며, 이는 메타학습된 사전 정보가 특정 구조적 구성 요소를 억제할 수 있음을 시사한다.
• Meta-Learners의 내부 루프 학습 역학은 단순히 Learners보다 더 빠른 버전이 아니라, 구조를 습득하는 방식에서 본질적으로 다른 인덕티브 바이어스를 나타낸다.