[논문 리뷰] Expert Gate: Lifelong Learning with a Network of Experts

Rahaf Aljundi, Punarjay Chakravarty외 1명|arXiv (Cornell University)|2016. 11. 18.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 테스트 시기 동안 게이팅 오토에인코더를 사용하여 가장 관련성이 높은 전문 모델을 동적으로 선택하는 수명 주기 학습 프레임워크인 Expert Gate를 제안한다. 이는 과거 데이터를 저장하지 않고도 효율적이고 확장 가능하며 메모리 효율적인 추론을 가능하게 한다. 작업 유사성에 기반한 선택적 지식 전이와 자동 전문가 라우팅을 통해 이미지 및 비디오 예측 작업에서 순차적 미세조정과 공동 학습을 모두 능가한다.

ABSTRACT

In this paper we introduce a model of lifelong learning, based on a Network of Experts. New tasks / experts are learned and added to the model sequentially, building on what was learned before. To ensure scalability of this process,data from previous tasks cannot be stored and hence is not available when learning a new task. A critical issue in such context, not addressed in the literature so far, relates to the decision which expert to deploy at test time. We introduce a set of gating autoencoders that learn a representation for the task at hand, and, at test time, automatically forward the test sample to the relevant expert. This also brings memory efficiency as only one expert network has to be loaded into memory at any given time. Further, the autoencoders inherently capture the relatedness of one task to another, based on which the most relevant prior model to be used for training a new expert, with finetuning or learning without-forgetting, can be selected. We evaluate our method on image classification and video prediction problems.

연구 동기 및 목표

• 과거 학습 데이터를 저장하지 않고도 생명 주기 학습에서 테스트 시기 동안 가장 관련성이 높은 전문 모델을 선택하는 문제를 해결하기 위해.
• 입력 콘텐츠에 따라 가장 적절한 전문가 네트워크로 입력을 동적으로 라우팅함으로써 확장 가능한 생명 주기 학습을 가능하게 하기 위해.
• 가벼운 게이팅 메커니즘을 사용하여 한 번에 하나의 전문 모델만 로드함으로써 메모리 오버헤드를 줄이기 위해.
• 가장 관련된 이전 전문가를 식별함으로써 지식 전이를 향상시키고, 잊지 않고 배우는 학습을 개선하기 위해.
• 오토에인코더가 레이블이 없는 데이터를 요구하지 않으면서도 분류 성능과 유사한 성능을 보이며 임무 식별자로 효과적으로 사용될 수 있음을 보여주기 위해.

제안 방법

• 각 전문가가 새로운 데이터에 대해 순차적으로 훈련되는 작업 특화 신경망으로 구성된 전문가 네트워크를 구축한다.
• 각 전문가별로 입력 분포의 압축된 공유 표현을 학습하기 위해 오토에인코더를 훈련한다.
• 테스트 시기 동안 각 전문가의 오토에인코더가 입력을 평가하고 훈련 분포와 유사도에 따라 가장 관련성이 높은 전문가로 라우팅한다.
• 임무 인식 라우팅을 보장하기 위해 오토에인코더를 해당 전문가 네트워크와 함께 엔드 투 엔드로 훈련한다.
• 오토에인코더 복원 결과에서 유도된 임무 유사성 점수를 사용하여 새로운 전문가의 훈련 중 지식 전이를 이끌어낸다.
• 모든 이전 모델을 미세조정하는 대신 가장 관련성이 높은 이전 전문가들만 선택적으로 미세조정함으로써 치명적인 잊음을 방지한다.

실험 결과

연구 질문

• RQ1 데이터 없이 게이팅 메커니즘이 생명 주기 학습 환경에서 테스트 샘플을 가장 관련성이 높은 전문 모델로 효과적으로 라우팅할 수 있는가?
• RQ2 오토에인코더 기반 게이팅의 성능은 전체 데이터로 훈련된 분류기와 비교해 어떻게 되는가?
• RQ3 오토에인코더를 사용하여 지식 전이를 위한 가장 관련된 이전 전문가를 식별할 수 있는가? 이는 잊지 않고 배우는 학습을 향상시키는가?
• RQ4 Expert Gate는 정확도와 메모리 효율성 측면에서 순차적 미세조정과 공동 학습을 모두 능가하는가?
• RQ5 게이팅 메커니즘은 이미지 분류와 비디오 예측과 같은 다양한 작업에 일반화될 수 있는가?

주요 결과

• 비디오 예측 작업에서 Expert Gate는 평균 L1 거리 23.4를 기록하여 과거 데이터 접근 없이도 순차적 미세조정(31.1)을 능가하고 공동 학습(23.8)과 유사한 성능을 달성했다.
• 이미지 분류 작업에서 Expert Gate는 공동 학습의 성능을 따라하거나 초월했으며, 치명적인 잊음을 방지하고 메모리 부담을 감소시켰다.
• 게이팅 오토에인코더는 전체 데이터로 훈련된 분류기와 유사한 임무 식별 정확도를 달성하여 데이터 없이도 효과적인 임무 식별자로 기능한다는 것을 입증했다.
• 시스템은 추론 시 한 번에 하나의 전문 모델만 로드함으로써 메모리 사용을 효과적으로 줄여 자원 제약이 있는 장치에서도 확장 가능성을 확보했다.
• 정성적 결과에서는 Expert Gate가 순차적 미세조정에 비해 더 정확한 비디오 예측을 제공했으며, 특히 차선 마킹과 시점 구조를 잘 유지했다.
• 오토에인코더는 임무 유사성을 효과적으로 포착하여 지식 전이를 위한 이전 전문가의 정보 기반 선택을 가능하게 하였고, 이는 일반화 성능 향상과 잊음 감소에 기여했다.