[논문 리뷰] Simple Lifelong Learning Machines

Jayanta Dey, Joshua T. Vogelstein외 14명|arXiv (Cornell University)|2020. 04. 27.

Computability, Logic, AI Algorithms인용 수 4

한 줄 요약

이 논문은 시너지 숲(SynF)과 시너지 네트워크(SynN)를 제안하며, 각각의 작업에서 독립적으로 훈련된 모델의 표현을 앙상블하여 전방 및 후방 전이를 모두 가능하게 하는 생애주기 학습 알고리즘입니다. 작업별 표현의 준선형 시간 복잡도 앙상블를 활용함으로써, 시각, 听각 및 표본 데이터 벤치마크 전반에서 뚜렷한 성능 향상을 달성하며, 저자료 및 고자료 환경 모두에서 기존 방법들을 능가합니다.

ABSTRACT

In lifelong learning, data are used to improve performance not only on the present task, but also on past and future (unencountered) tasks. While typical transfer learning algorithms can improve performance on future tasks, their performance on prior tasks degrades upon learning new tasks (called forgetting). Many recent approaches for continual or lifelong learning have attempted to maintain performance on old tasks given new tasks. But striving to avoid forgetting sets the goal unnecessarily low. The goal of lifelong learning should be to use data to improve performance on both future tasks (forward transfer) and past tasks (backward transfer). In this paper, we show that a simple approach -- representation ensembling -- demonstrates both forward and backward transfer in a variety of simulated and benchmark data scenarios, including tabular, vision (CIFAR-100, 5-dataset, Split Mini-Imagenet, and Food1k), and speech (spoken digit), in contrast to various reference algorithms, which typically failed to transfer either forward or backward, or both. Moreover, our proposed approach can flexibly operate with or without a computational budget.

연구 동기 및 목표

• 기존 생애주기 학습 알고리즘이 전방 및 후방 전이를 동시에 달성하지 못하는 한계를 해결하기 위해.
• 과거 및 미래 작업에서의 지속적인 향상을 가능하게 하는 확장성 있고 준선형 시간 복잡도의 방법을 개발하기 위해.
• 저자료 환경에서 전방 및 후방 전이를 체계적으로 달성할 수 있음을 입증하기 위해.
• 기존의 기억 상실을 방지하면서 새로운 표현을 동적으로 통합할 수 있는 자원 증가 기반 접근법을 제공하기 위해.
• 시각(CIFAR-100, Food1k, Split Mini-Imagenet), 听각(말하는 숫자), 표본 데이터 등 다양한 벤치마크에서 방법의 유효성을 검증하기 위해.

제안 방법

• 각 작업에서 별도의 추정기(랜덤 포레스트 또는 딥 네트워크)로 독립적으로 학습된 표현을 백킹 방식의 앙상블로 조합합니다.
• 새로운 작업이 들어올 경우, 훈련된 표현을 저장하고 이후에 기존 표현들과 평균 또는 투표를 통해 통합하여 통합 예측기로 조합합니다.
• 추론 과정에서 이전에 학습된 모든 표현을 특징으로 사용함으로써, 재훈련 없이도 전방 및 후방 전이가 가능합니다.
• 모든 작업과 샘플 수에 대해 준선형 시간 복잡도를 달성하기 위해, 전체 재훈련이나 파라미터 정규화를 피함으로써 계산 복잡도를 최소화합니다.
• 시스템은 작업 인식형이므로 추론 시 샘플이 속한 작업을 알고 있으며, 이에 따라 표현 융합을 선택적으로 수행할 수 있습니다.
• 절단 분석 결과, 표현 용량 증가와 이전 작업 데이터의 재현이 성능 향상에 기여함을 확인함.

실험 결과

연구 질문

• RQ1 독립적으로 훈련된 모델 간의 표현 앙상블이 생애주기 학습에서 전방 및 후방 전이를 모두 가능하게 할 수 있는가?
• RQ2 제안된 방법이 전이가 가장 필요한 저자료 환경에서도 뚜렷한 전이 성능을 달성하는가?
• RQ3 다양한 벤치마크에서 표현 앙상블 방법의 성능이 기존 생애주기 학습 알고리즘과 비교해 어떻게 되는가?
• RQ4 표현 용량과 이전 데이터 재현의 영향은 앙성된 시스템의 성능에 어떤 영향을 미치는가?
• RQ5 준선형 시간 알고리즘이 많은 작업과 고차원 데이터를 포함하는 대규모 생애주기 학습 시나리오에 효과적으로 확장될 수 있는가?

주요 결과

• SynF와 SynN는 시각, 听각 및 표본 데이터 세트 전반에서 전방, 후방 및 총합 전이 측면에서 모든 기준 알고리즘을 능가합니다.
• 말하는 숫자 데이터셋에서 SynF와 SynN는 양방향 전이가 긍정적으로 발생하는 반면, 다른 방법들은 동시에 전방 및 후방 전이를 달성하지 못합니다.
• Food1k 50X20 데이터셋에서 SynN는 모든 알고리즘 중 최고의 성능을 기록하며, 대규모 환경에서의 뛰어난 확장성과 전이 성능을 입증합니다.
• Split Mini-Imagenet 및 5-데이터셋에서 SynF와 SynN는 비교적 낮은 작업당 샘플 수에도 불구하고 참조 방법보다 기억 상실이 적음을 보였습니다.
• 절단 분석 결과, 표현 용량 증가와 이전 작업 데이터 재현이 성능 향상에 크게 기여함을 확인하였으며, 이 요소들의 중요성을 입증합니다.
• 백킹 기반 생애주기 학습(SynF/SynN)이 저자료 환경에서 부스팅 기반 접근법(e.g., Model Zoo)보다 우수한 성능을 보였으며, 이는 단일 작업 학습에서 알려진 행동과 일치합니다.