[논문 리뷰] Continual Learning via Online Leverage Score Sampling

Dan Teng, Sakyasingha Dasgupta|arXiv (Cornell University)|2019. 08. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 5

한 줄 요약

이 논문은 통계적 리커버리 점수와 빈번한 방향 알고리즘을 사용하여 연속 학습 중에 가장 정보가 많은 데이터 샘플만 동적으로 압축하고 유지하는 온라인 리커버리 점수 샘플링(OLSS)을 제안한다. 지속적으로 중요도가 낮은 데이터를 삭제하면서도 핵심 정보를 유지함으로써 OLSS는 치명적인 잊음 문제를 피하고 기존 방법보다 훨씬 낮은 계산 비용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In order to mimic the human ability of continual acquisition and transfer of knowledge across various tasks, a learning system needs the capability for continual learning, effectively utilizing the previously acquired skills. As such, the key challenge is to transfer and generalize the knowledge learned from one task to other tasks, avoiding forgetting and interference of previous knowledge and improving the overall performance. In this paper, within the continual learning paradigm, we introduce a method that effectively forgets the less useful data samples continuously and allows beneficial information to be kept for training of the subsequent tasks, in an online manner. The method uses statistical leverage score information to measure the importance of the data samples in every task and adopts frequent directions approach to enable a continual or life-long learning property. This effectively maintains a constant training size across all tasks. We first provide mathematical intuition for the method and then demonstrate its effectiveness in avoiding catastrophic forgetting and computational efficiency on continual learning of classification tasks when compared with the existing state-of-the-art techniques.

연구 동기 및 목표

• 효과적인 온라인 잊음 메커니즘을 통해 연속 학습에서 치명적인 잊음 문제를 해결한다.
• 데이터의 점진적 차원 감소를 통해 작업 간 일정한 학습 크기를 유지한다.
• 리プレイ 기반 및 정규화 기반 접근 방식의 메모리 및 계산 병목 현상에서 벗어나 스케일링 가능하고 계산적으로 효율적인 연속 학습 방법을 개발한다.
• 통계적 샘플링과 행렬 스케칭을 활용해 생물학적 뇌가 작업 간 지식을 압축하고 일반화하는 능력을 모방한다.

제안 방법

• OLSS는 각 작업에서 데이터 샘플의 중요도를 측정하기 위해 통계적 리커버리 점수를 사용하여 모델의 표현에 가장 기여하는 샘플을 식별한다.
• 빈번한 방향 알고리즘을 적용하여 과거 및 현재 작업 데이터의 압축된 저랭크 스케치를 유지함으로써 효율적인 온라인 압축을 가능하게 한다.
• 이전 작업의 스케치와 현재 작업 데이터를 결합하고 리커버리 점수 샘플링을 수행하여 학습에 적합한 대표 샘플 서브셋을 선택한다.
• 압축된 중요도 가중 데이터로 재학습함으로써 OLSS는 이전 작업의 지식을 유지하면서도 새로운 작업을 학습한다.
• 알고리즘은 온라인 방식으로 작동하여 전체 역사를 저장하지 않고도 각 새로운 작업 후 스케치와 샘플링 분포를 업데이트한다.
• 신경망의 각 레이어에서 차원 감소와 확장을 균형 있게 조절함으로써 생물학적 학습 메커니즘을 모방한다.

실험 결과

연구 질문

• RQ1 리커버리 점수 기반의 단순한 온라인 샘플링 메커니즘이 연속 학습에서 치명적인 잊음을 효과적으로 방지할 수 있는가?
• RQ2 정규화, 아키텍처 확장, 메모리 리플레이 방법과 비교해 OLSS의 정확도 및 효율성은 어떻게 되는가?
• RQ3 빈번한 방향 알고리즘을 통한 데이터 압축이 학습 데이터 크기를 줄이면서도 모델 성능을 유지할 수 있는가?
• RQ4 OLSS는 성능 저하 또는 과도한 계산 비용 없이 대규모 작업 시퀀스에 효과적으로 스케일링되는가?

주요 결과

• OLSS는 회전 및 치환된 MNIST와 CIFAR100에서 모든 작업의 총합 테스트 정확도에서 EWC, GEM, iCaRL, SGD를 모두 앞서며 최고의 성능을 기록했다.
• CIFAR100 벤치마크에서 OLSS는 10개 작업 평균 테스트 정확도 68.2%를 유지했으며, EWC(58.1%)와 GEM(55.3%)보다 뚜렷하게 높았다.
• OLSS는 CIFAR100에서 벽 시계 학습 시간을 1363초로 줄였고, GEM의 17,868초와 EWC의 1213초보다 훨씬 효율적이었다.
• 10개 작업을 학습한 후에도 OLSS는 첫 번째 작업(예: Task 1)에서 평균 92.1%의 높은 정확도를 유지했으며, EWC(85.4%)와 GEM(83.7%)보다 뛰어났다.
• 회전된 MNIST에서는 496초, 치환된 MNIST에서는 455초가 소요되었으며, EWC(944초 및 896초)와 GEM(8688초 및 8846초)를 모두 앞섰다.
• 알고리즘의 성능은 작업 간에 안정적이었고, 이전 작업에서의 정확도 저하가 최소화되어 효과적인 잊음 제어와 지식 유지가 이루어졌음을 시사했다.