[논문 리뷰] Towards Robust Evaluations of Continual Learning

Sebastian Farquhar, Yarin Gal|arXiv (Cornell University)|2018. 05. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 185

한 줄 요약

이 논문은 현재의 연속 학습 평가를 비판하고, 강건한 평가를 위한 핵심 바람직성(desiderata)을 제안하며, 기존의 우선 중심(prior-focused) 방법에 대한 편향을 분석하고 현실 세계의 연속 학습 도전을 더 잘 반영하기 위한 개선된 실험 설계를 제시한다.

ABSTRACT

Experiments used in current continual learning research do not faithfully assess fundamental challenges of learning continually. Instead of assessing performance on challenging and representative experiment designs, recent research has focused on increased dataset difficulty, while still using flawed experiment set-ups. We examine standard evaluations and show why these evaluations make some continual learning approaches look better than they are. We introduce desiderata for continual learning evaluations and explain why their absence creates misleading comparisons. Based on our desiderata we then propose new experiment designs which we demonstrate with various continual learning approaches and datasets. Our analysis calls for a reprioritization of research effort by the community.

연구 동기 및 목표

• 연속 학습 평가를 위한 형식적이고 동기 부여 가능한 프레임워크를 정의한다.
• 우선 중심(prior-focused) 방법으로 편향시키는 일반적인 평가상의 결함을 식별하고 비판한다.
• 데이터셋에 걸쳐 적용 가능한 강건한 연속 학습 벤치마크를 위한 핵심 바람직성(desiderata) 세트를 제안한다.
• 포괄적이고 현실적인 평가 체제에서 우선 중심 방법이 실패한다는 것을 입증한다.
• 식별된 한계를 해결하고 연속 학습 도전을 더 잘 반영하는 새로운 실험 설계를 도입한다.

제안 방법

• 비-i.i.d. 데이터 분할을 갖는 순차적 과제 학습으로 연속 학습을 형식화한다.
• 베이지안 해석을 갖는 우선 중심(prior-focused), 가능도 중심(likelihood-focused), 하이브리드 방법으로 접근을 분류한다.
• 현실 세계의 요구와의 정렬성을 기준으로 일반적인 평가 설정들(Permuted MNIST, Split MNIST, two-task transfer)을 비판적으로 분석한다.
• 다섯 가지 핵심 바람직성(desiderata)을 평가에 제안한다: 작업 간 유사성(cross-task resemblance), 공유 출력 헤드, 테스트 시점의 작업 라벨 부재, 제약 없는 재훈련 금지, 다수 작업에 대한 확장성.
• 대표 방법들(VCL, EWC, VGR)을 모든 바람직성을 충족하는 평가와 부분 평가 하에서 실증적으로 비교한다.
• 시간/메모리 제약 및 프라이버시 고려를 더 잘 반영하는 새로운 평가 설계를 권고하고 설명한다.

실험 결과

연구 질문

• RQ1 일반적인 연속 학습 평가가 핵심 연속 학습 과제를 충실히 반영하는가?
• RQ2 표준 평가 설정에 의해 우선 중심(priors-focused) 방법이 편향되는가, 그리고 어떤 설계 하에서 실패하는가?
• RQ3 데이터셋 전체에 걸쳐 강건한 연속 학습 평가를 이끌 핵심 바람직성(desiderata)은 무엇인가?
• RQ4 새로운 실험 설계가 편향을 완화하고 현재 방법의 근본적 한계를 드러낼 수 있는가?
• RQ5 시간, 메모리, 프라이버시 고려가 강건한 연속 학습 벤치마크에 어떻게 통합되는가?

주요 결과

• 많은 선도적인 우선 중심(prior-focused) 방법들이 모든 핵심 바람직성을 충족하는 평가에서 형편없이 수행하며, 표준 벤치마크에서 보지 못한 맹점을 드러낸다.
• Permuted MNIC와 다중 헤드 Split MNIST와 같은 평가 설정은 결과를 우선 중심 접근에 유리하게 편향시킬 수 있다.
• 가능도 중심(likelihood-focused) 방법들(VGR 등)은 포괄적 바람직성(desiderata) 기반 설계에서 평가될 때 더 강건한 경향이 있다.
• 두 작업 전이(two-task transfers)와 단순한 데이터셋은 장기적 연속 학습 도전을 포착하지 못해 방법의 능력을 과대평가할 수 있다.
• 제안된 평가 설계는 시간/정확도 간의 트레이드오프를 드러내고 모델 불확실성을 작업 경계 탐지의 도구로 포함한다.