[논문 리뷰] Task-Free Continual Learning via Online Discrepancy Distance Learning

Fei Ye, Adrian G. Borş|arXiv (Cornell University)|2022. 10. 12.

Domain Adaptation and Few-Shot Learning인용 수 21

한 줄 요약

이 논문은 TFCL( Task-Free Continual Learning )에 대해 이론에 기반한 프레임워크를 제시하는 Online Discrepancy Distance Learning(ODDL)을 도입하고, 불일치 거리(discrepancy distance)를 기반으로 한 이론과 함께 동적 혼합 확장 및 불일치 기반 메모리 샘플링을 제시하여 TFCL 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Learning from non-stationary data streams, also called Task-Free Continual Learning (TFCL) remains challenging due to the absence of explicit task information. Although recently some methods have been proposed for TFCL, they lack theoretical guarantees. Moreover, forgetting analysis during TFCL was not studied theoretically before. This paper develops a new theoretical analysis framework which provides generalization bounds based on the discrepancy distance between the visited samples and the entire information made available for training the model. This analysis gives new insights into the forgetting behaviour in classification tasks. Inspired by this theoretical model, we propose a new approach enabled by the dynamic component expansion mechanism for a mixture model, namely the Online Discrepancy Distance Learning (ODDL). ODDL estimates the discrepancy between the probabilistic representation of the current memory buffer and the already accumulated knowledge and uses it as the expansion signal to ensure a compact network architecture with optimal performance. We then propose a new sample selection approach that selectively stores the most relevant samples into the memory buffer through the discrepancy-based measure, further improving the performance. We perform several TFCL experiments with the proposed methodology, which demonstrate that the proposed approach achieves the state of the art performance.

연구 동기 및 목표

• TFCL에서 잊힘을 불일치 거리와 도메인 적응 개념을 사용해 이론적 프레임워크를 제공한다.
• 과거 구성요소를 고정하여 컴팩트하고 정확한 모델을 유지하는 동적 확장 메커니즘을 개발한다.
• 다양하고 관련된 예제로 메모리를 채우기 위한 불일치 기반 샘플 선택 전략을 introduce 한다.
• VAE 기반 불일치 추정기를 통합하고 메모리 재현(memory-replay) 버퍼를 활용하는 ODDL 알고리즘을 제안한다.

제안 방법

• 도메인 적응 이론을 TFCL로 확장하여 불일치 거리에 기반한 시간 의존 일반화 위험 경계(bound)를 도출한다.
• 새 구성요소를 추가하고 이전 구성요소를 고정시켜 망각을 줄이는 동적 확장 모델(DEM)을 도입한다.
• 새 구성요소를 언제 추가하고 메모리 샘플을 어떻게 선택할지 가이드하는 불일치 기반 기준을 사용한다.
• 테스트 중 구성요소 선택을 돕고 불일치를 추정하기 위해 VAE를 활용한다.
• 초기 학습, 평가자 학습, 샘플 선택 단계로 구성된 엔드-투-엔드 학습 절차를 개요한다.

실험 결과

연구 질문

• RQ1 불일치 거리가 태스크 레이블 없이 TFCL에서 잊힘을 어떻게 정량화하는가?
• RQ2 동결된 구성요소를 갖춘 동적 확장 모델이 TFCL 하에서 일반화를 개선할 수 있는가?
• RQ3 불일치 기반 메모리 샘플링이 과거 지식 보존 및 전체 성능을 향상시키는가?
• RQ4 VAE 기반 불일치 추정이 구성요소 선택 및 모델 확장을 어떻게 촉진하는가?

주요 결과

• 이 연구는 불일치 거리로 TFCL의 시간 의존적 일반화 경계를 도출하는 이론적 프레임워크를 제공한다.
• 저자에 따르면 동적 확장을 갖춘 ODDL이 TFCL 벤치마크에서 최첨단 결과를 달성한다.
• 불일치 기반의 메모리 확장 및 샘플 선택 전략이 지식 보유 및 모델 간결성을 향상시킨다.
• 동결된 구성요소와 신규로 학습된 구성요소의 혼합은 부정적 전이(negative transfer)를 완화하고 더 나은 일반화를 지원한다.
• 이 접근법은 이론적 보장과 실용적 알고리즘을 결합하여 명시적 태스크 경계 없이 TFCL에 적용된다.