[논문 리뷰] Continual Learning Using Multi-view Task Conditional Neural Networks

Haoyu Li, Payam Barnaghi외 2명|arXiv (Cornell University)|2020. 05. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 4

한 줄 요약

이 논문은 다중 시야 데이터 증강과 사전 확률층을 통합하여 과거에 학습한 작업의 정체성을 사전에 알지 못하는 상황에서도 재등장하는 작업을 탐지하고 적응할 수 있는 지속적 학습 모델인 다중 시야 작업 조건 신경망(Mv-TCNN)을 제안한다. Mv-TCNN는 MNIST, CIFAR10, CIFAR100 및 실세계 시간시계열 헬스케어 데이터셋(TIHM)에서 최신 기술을 초월하여 뛰어난 정확도와 강인성을 확보하며, 변화가 빈번한 환경에서 유연하게 작동한다.

ABSTRACT

Conventional deep learning models have limited capacity in learning multiple tasks sequentially. The issue of forgetting the previously learned tasks in continual learning is known as catastrophic forgetting or interference. When the input data or the goal of learning change, a continual model will learn and adapt to the new status. However, the model will not remember or recognise any revisits to the previous states. This causes performance reduction and re-training curves in dealing with periodic or irregularly reoccurring changes in the data or goals. The changes in goals or data are referred to as new tasks in a continual learning model. Most of the continual learning methods have a task-known setup in which the task identities are known in advance to the learning model. We propose Multi-view Task Conditional Neural Networks (Mv-TCNN) that does not require to known the reoccurring tasks in advance. We evaluate our model on standard datasets using MNIST, CIFAR10, CIFAR100, and also a real-world dataset that we have collected in a remote healthcare monitoring study (i.e. TIHM dataset). The proposed model outperforms the state-of-the-art solutions in continual learning and adapting to new tasks that are not defined in advance.

연구 동기 및 목표

• 새로운 작업에 노출되었을 때 이전에 학습한 작업을 잊는 치명적인 잊음 현상이 발생하는 지속적 학습 환경에서의 문제 해결.
• 기존 지속적 학습 기법들이 작업 정체성 정보를 사전에 필요로 하는 한계를 극복.
• 원격 헬스케어 모니터링과 같은 동적 환경에서 재등장하는 작업을 탐지하고 학습할 수 있는 확장성 있고 적응 가능한 모델 개발.
• 추론 시 작업 레이블 없이도 자동으로 작업을 식별하고 전문가를 선택할 수 있도록 하여 실세계 응용 프로그램에서의 적응성 향상.
• 이미지 및 수치적 시간시계열 데이터, 특히 불균형 및 i.i.d.가 아닌 분포를 포함한 데이터에서의 성능 향상.

제안 방법

• 다양한 학습 작업을 위한 다수의 작업별 전문가를 갖춘 다중 시야 작업 조건 신경망(Mv-TCNN) 아키텍처 도입.
• 입력 데이터의 다양한 맥락적 관련 시야를 생성하기 위해 다중 시야 데이터 증강 기법 적용으로 특징 강인성과 일반화 능력 향상.
• 각 작업별 전문가에 속할 가능성을 추정하는 확률층 통합으로 동적 전문가 선택 기능 제공.
• 작업 가능성 점수를 활용해 주어진 입력에 대해 어떤 전문가가 활성화되어야 할지 결정하여, 명시적인 작업 레이블 없이도 작업 정체성을 추론 가능.
• 정확도와 안정성의 균형을 이루기 위해 교차 엔트로피 손실과 작업 가능성 추정을 병행하는 엔드 투 엔드 학습 방식 적용.
• 선형 경로 분석과 손실 표면 시각화를 활용해 순차적 작업 학습 중 치명적인 잊음 현상이 감소했음을 입증.

실험 결과

연구 질문

• RQ1 작업 정체성 지식 없이도 지속적 학습 모델이 재등장하는 작업을 탐지하고 적응할 수 있는가?
• RQ2 다중 시야 데이터 증강 기법이 지속적 학습에서 작업별 전문가의 강인성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 작업 가능성 추정을 위한 확률층이 작업 식별 능력 향상과 치명적인 잊음 현상 감소에 얼마나 기여하는가?
• RQ4 Mv-TCNN은 이미지 및 시간시계열 데이터셋에서 최신 기술 대비 어떻게 성능을 발휘하는가?
• RQ5 원격 헬스케어 모니터링에서 흔히 발생하는 불균형 및 비정상적인 데이터 분포를 효과적으로 다룰 수 있는가?

주요 결과

• Mv-TCNN는 MNIST, CIFAR10, CIFAR100 및 실세계 TIHM 시간시계열 데이터셋에서 최신 기술을 뛰어넘는 뛰어난 정확도와 안정성 확보.
• 기본 모델 대비 유의미하게 높은 작업 가능성 추정 성능 확보. 확률층 내에서 작업 내 샘플과 작업 외 샘플 간 명확한 구분 가능.
• 제거 실험 결과 다중 시야 증강과 확률층이 정확한 작업 정체성 추론에 필수적임을 입증. Mv-TCNN는 작업 외 샘플에 대해 가장 낮은 표준편차와 가장 정확한 평균 작업 가능성 점수 기록.
• 학습한 작업 수가 증가할수록 정확한 전문가 선택 비율이 상승하여 확장성과 복잡도 증가 상황에서도 신뢰할 수 있는 추론 기능 확보.
• 다중 시야 증강이 어려운 데이터에 대해서도 이전에 학습한 파rameter를 활용해 높은 성능 유지. 실세계 배포 환경에서의 강인성 입증.
• 데이터 분포 변화를 효과적으로 탐지하고 원격 헬스케어 모니터링 환경에서 주기적 또는 비정기적으로 재등장하는 작업에 적응함으로써 재학습이나 다수의 모델 유지 관리 필요성 감소.