[논문 리뷰] Transferring Knowledge across Learning Processes

Sebastian Flennerhag, Pablo García Moreno외 2명|arXiv (Cornell University)|2018. 12. 03.

Innovative Teaching and Learning Methods인용 수 39

한 줄 요약

Leap는 손실 다각형 상에서 기울기 경로의 기대 길이를 최소화하여 학습 과정 간 지식을 전이하는 메타학습 프레임워크를 제안한다. 이는 복잡하고 장기간 학습이 필요한 상황에서 효과적인 전이를 가능하게 하며, 추가적인 역전파 없이 학습 경로의 기하학적 구조를 활용한다. 이는 시각 및 강화학습 작업, 특히 수백만 개의 기울기 단계가 필요한 아타리 게임에서 표준 미세조정 및 메타학습자보다 뛰어난 성능을 발휘한다.

ABSTRACT

In complex transfer learning scenarios new tasks might not be tightly linked to previous tasks. Approaches that transfer information contained only in the final parameters of a source model will therefore struggle. Instead, transfer learning at a higher level of abstraction is needed. We propose Leap, a framework that achieves this by transferring knowledge across learning processes. We associate each task with a manifold on which the training process travels from initialization to final parameters and construct a meta-learning objective that minimizes the expected length of this path. Our framework leverages only information obtained during training and can be computed on the fly at negligible cost. We demonstrate that our framework outperforms competing methods, both in meta-learning and transfer learning, on a set of computer vision tasks. Finally, we demonstrate that Leap can transfer knowledge across learning processes in demanding reinforcement learning environments (Atari) that involve millions of gradient steps.

연구 동기 및 목표

• 기존 전이학습의 한계를 해결하기 위해, 파rameter 유사성에 의존하지만 소스 및 타겟 작업 간 구조적 유사성이 없는 경우 실패하는 문제를 해결한다.
• 소수의 예제나 파rameter 기반 방법이 최적화 과정에서 치명적인 정보 손실로 인해 실패하는 복잡하고 장기간 학습이 필요한 상황에서의 지식 전이를 가능하게 한다.
• 전이학습을 최종 모델 파arameter가 아니라 학습 경로의 기하학성에 대한 메타학습 문제로 공식화한다.
• 추가적인 역전파 없이 학습 과정에서 유일하게 제공되는 정보를 활용하는 경량의 실시간 방법을 개발한다.
• 강화학습에서 상태공간이 크게 다를 수 있는 분포 외부 작업으로의 전이 지식 일반화를 입증한다.

제안 방법

• Leap는 각 학습 과정을 학습 중 모델 파aram터의 궤적을 통해 매개변수화된 손실 다각형 상의 경로로 모델링한다.
• 기하학적 거리 척도(예: 에너지 척도 $d_2$)를 사용하여 다양한 작업 간 기울기 경로의 기대 길이를 최소화하는 메타학습 목표를 정의한다.
• 표준 최적화 외에 추가적인 순방향 또는 역방향 전파 없이도 학습 도중 완전히 실시간으로 작동한다.
• 손실 표면과 파aram터 궤적을 통해 포착된 기울기 경로 기하학성을 활용하여 작업 간 공통의 인도크티브 바이어스를 추론한다.
• 최적화기 선택에 관계없이 작동하며, 조정 가능한 전처리 행렬 $S^i$와 학습률 스케줄 $\alpha^i$를 통해 표준 SGD, Adam, 또는 자연 기울기 모두 지원한다.
• Leap는 손실 다각형 상에서 더 짧은 기대 경로로 이어지는 초기화를 학습함으로써 전이를 가능하게 하며, 새로운 작업에서 수렴성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 최종 모델 파aram터가 아니라 학습 과정의 기하학성을 모델링함으로써 지식 전이를 효과적으로 달성할 수 있는가?
• RQ2 손실 다각형 상에서 기울기 경로의 기대 길이를 최소화하면 복잡하고 장기간 학습이 필요한 작업에서 더 나은 일반화가 이루어지는가?
• RQ3 경로 길이에 기반한 경량 메타학습 프레임워크가 시각 및 강화학습에서 표준 미세조정 및 기존 메타학습자보다 뛰어난 성능을 발휘할 수 있는가?
• RQ4 학습 동역학 수준에서 전이된 지식은 상태공간 또는 액션공간 크기가 다른 분포 외부 작업으로 일반화 가능한가?
• RQ5 아타리 2600처럼 수백만 개의 기울기 단계가 필요한 강화학습 환경에서, 전체 학습 과정을 역전파하지 않고도 Leap가 확장 가능한가?

주요 결과

• Multi-CV 벤치마크에서 11개 전이학습 과제 중 10개에서 Leap는 무작위 초기화, 미세조정, HAT, 프로그레시브 넷보다 뛰어난 성능을 보이며, 더 빠른 수렴과 더 높은 최종 정확도를 기록했다.
• Facescrub 데이터셋에서는 Leap가 무작위 초기화보다 약간 열등한 성능을 보였지만, 이는 예외에 가까운 경우이며, 다른 모든 과제에서는 미세조정 및 HAT보다 유의미하게 뛰어난 성능을 기록했다. 이는 HAT가 성능 저하를 겪는다는 점을 시사한다.
• 아타리 2600 게임에서 Leap는 뛰어난 성능을 기록했으며, 예를 들어 Pretraining 게임보다 최대 50% 더 큰 상태공간을 가진 분포 외부 작업인 Alien, Gravitar, RoadRunner에서도 뛰어난 성능을 보였다.
• 아타리에서의 성능 향상은 안정적이고 변동성이 적은 탐색 덕분이며, 10개의 무작위 시드를 기반으로 한 학습 곡선에서 더 좁은 신뢰구간을 통해 입증되었다.
• 기본 학습 동역학이 일관된 경우, Leap는 예측 불가능한 작업 변형으로의 일반화가 가능하며, 이는 학습 과정 기하학성 수준에서의 전이가 견고한 제로샷 일반화를 가능하게 한다는 것을 보여준다.
• 에너지 척도($d_2$)를 사용해 단일 에포크 동안 경로 샘플링을 수행한 500만 단계의 메타학습만으로도 장기간 경로 학습과 유사한 성능을 달성했으며, 이는 부분 경로만으로도 효과적인 구조 추론이 가능하다는 것을 시사한다.