[논문 리뷰] A general approach to progressive learning

Joshua T Vogelstein, Hayden S. Helm외 8명|arXiv (Cornell University)|2020. 04. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 기존 방법이 치명적인 잊음(catastrophic forgetting)을 앓는 데 반해, 과거, 현재, 향후 작업에 대해 새로운 데이터를 사용해 성능을 향상시키는 일반적인 점진적 학습 접근법으로 표현 통합(representation ensembling)을 제안한다. 이 방법은 결합된 표현을 활용하여 의사결정 숲과 딥 네트워크와 같은 다양한 모델의 표현을 활용하며, 자원 제약 여부에 관계없이 비전, 언어, 적대적 작업 전반에서 일관된 성능 향상을 보인다.

ABSTRACT

In biological learning, data are used to improve performance simultaneously on the current task, as well as previously encountered and as yet unencountered tasks. In contrast, classical machine learning starts from a blank slate, or tabula rasa, using data only for the single task at hand. While typical transfer learning algorithms can improve performance on future tasks, their performance on prior tasks degrades upon learning new tasks (called catastrophic forgetting). Many recent approaches have attempted to maintain performance given new tasks. But striving to avoid forgetting sets the goal unnecessarily low: the goal of progressive learning, whether biological or artificial, is to improve performance on all tasks (including past and future) with any new data. We propose representation ensembling, as opposed to learner ensembling (e.g., bagging), to address progressive learning. We show that representation ensembling -- including representations learned by decision forests or deep network -- uniquely demonstrates improved performance on both past and future tasks in a variety of simulated and real data scenarios, including vision, language, and adversarial tasks, with or without resource constraints. Beyond progressive learning, this work has immediate implications with regards to mitigating batch effects and federated learning applications. We expect a deeper understanding of the mechanisms underlying biological progressive learning to enable further improvements in machine progressive learning.

연구 동기 및 목표

• 기존 기계 학습의 한계를 해결하기 위해, 빈 상태에서 출발하여 현재 작업에만 최적화하는 방식을 개선하고자 한다.
• 새로운 작업을 학습할 때 이전 작업의 성능이 떨어지는 전이 학습에서의 치명적인 잊음을 극복하고자 한다.
• 진정한 점진적 학습의 목표인, 새로운 데이터를 통해 과거, 현재, 향후 작업의 성능을 동시에 향상시키고자 한다.
• 비전, 언어, 적대적 학습과 같은 다양한 도메인에 적용 가능한 일반화 가능한 방법을 개발하고자 한다.
• 연합 학습과 배치 효과 완화와 같은 실용적 응용 가능성을 탐색하고자 한다.

제안 방법

• 배깅과 같은 학습자 통합(learner ensembling) 대신, 다양한 모델에서 유도된 표현을 통합하는 표현 통합(representation ensembling)을 제안한다.
• 과제에 특화된 표현을 학습하기 위해 의사결정 숲과 딥 네ural 네트워크와 같은 다양한 아키텍처를 사용한다.
• 단일 모델을 재학습하거나 미세조정하는 대신, 작업 간에 표현 집합을 유지하고 업데이트함으로써 지속적 학습을 가능하게 한다.
• 각 새로운 작업에 대해 모델을 재학습할 필요 없이, 다양한 모델의 표현을 통합하는 통합 프레임워크를 구현한다.
• 표현 저장 및 추론을 동적으로 관리함으로써 자원 제약 및 비제약 환경 모두를 지원한다.
• 비전, 언어, 적대적 작업 전반에서 실제 및 시뮬레이션 데이터를 활용해 일반화 능력을 검증하기 위해 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 표현 통합은 지속적 학습 중 과거 및 향후 작업의 성능을 동시에 향상시킬 수 있는가?
• RQ2 전통적인 전이 학습과 모델 통합 방법에 비해 표현 통합은 치명적인 잊음을 얼마나 효과적으로 완화하는가?
• RQ3 표현 통합은 비전, 자연어 처리, 적대적 작업 등 다양한 도메인으로 일반화될 수 있는가?
• RQ4 제한된 메모리나 컴퓨팅 자원과 같은 자원 제약 조건에서도 표현 통합이 여전히 효과적인가?
• RQ5 이 방법은 연합 학습과 같은 실제 문제 및 배치 효과 완화에 확장 적용될 수 있는가?

주요 결과

• 표현 통합은 과거 작업의 성능을 지속적으로 향상시키는 동시에 향후 작업의 성능도 향상시켜 진정한 점진적 학습을 구현한다.
• 표준 전이 학습 및 학습자 통합(예: 배깅)보다 성능 저하 없이 이전에 학습한 작업의 성능도 유지함으로써 슈퍼리어하다.
• 이 방법은 비전, 자연어 처리, 적대적 학습 시나리오를 포함한 다양한 도메인에서 효과적이다.
• 자원 제약 조건에서도 뛰어난 성능 유지를 보이며, 확장성과 적응성을 입증한다.
• 연합 학습과 배치 효과 완화에 즉각적인 이점을 제공함으로써, 지속적 학습을 넘어서 광범위한 적용 가능성을 시사한다.
• 결과적으로, 점진적 학습에 있어 표현 수준의 통합이 모델 수준의 앙상블 방법보다 더 효과적임을 시사한다.