[논문 리뷰] Keep and Learn: Continual Learning by Constraining the Latent Space for Knowledge Preservation in Neural Networks

Hyoeun Kim, Seungwook Kim외 1명|arXiv (Cornell University)|2018. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 12

한 줄 요약

이 논문은 신경망 내 지식을 유지하기 위해 특징 벡터가 모델링된 고수준 잠재공간 내에 있도록 제약을 두는 지속적 학습 방법을 제안한다. 이는 잠재공간과 출력공간 간의 상호정보성 유지에 재구성 손실을 사용한다. 제안된 방법은 LwF, EWC 및 그 변종보다 순차적 작업 간 지식 유지에서 뛰어난 성능을 보이며, 각각 CIFAR-10과 CIFAR-100의 스테이지-1 데이터에서 스테이지-4에서 88.22% 및 69.34%의 정확도를 달성한다.

ABSTRACT

Data is one of the most important factors in machine learning. However, even if we have high-quality data, there is a situation in which access to the data is restricted. For example, access to the medical data from outside is strictly limited due to the privacy issues. In this case, we have to learn a model sequentially only with the data accessible in the corresponding stage. In this work, we propose a new method for preserving learned knowledge by modeling the high-level feature space and the output space to be mutually informative, and constraining feature vectors to lie in the modeled space during training. The proposed method is easy to implement as it can be applied by simply adding a reconstruction loss to an objective function. We evaluate the proposed method on CIFAR-10/100 and a chest X-ray dataset, and show benefits in terms of knowledge preservation compared to previous approaches.

연구 동기 및 목표

• 이전 스테이지의 데이터가 학습 후 이용이 불가능한 다중센터 단일작업 학습 환경에서 치명적인 잊음 문제를 해결한다.
• 모델 파라미터나 출력 로짓을 제약하는 것만으로는 부족한 기존 방법들(예: LwF, EWC)의 한계를 극복하며, 고수준 특징공간을 모델링하지 않는다.
• 이전 데이터로부터 학습된 표현을 유지하기 위해 명시적으로 잠재 특징공간을 모델링하고 제약함으로써 지식 유지성을 향상시킨다.
• 기본 이미지 데이터셋(CIFAR-10/100)과 실제 의료 영상 데이터셋(결핵을 위한 흉부 X-ray) 모두에서 효과를 입증한다.

제안 방법

• 첫 번째 학습 스테이지 동안 출력(로짓) 공간과 상호정보성이 높은 고수준 특징공간을 모델링한다.
• 후속 학습 스테이지에서 특징 벡터가 모델링된 잠재공간 내에 있도록 재구성 손실을 적용하여 제약한다.
• 표준 목표 함수에 재구성 손실을 통합하여, 최소한의 아키텍처 변경으로도 단순하게 구현할 수 있도록 한다.
• 공유된 인코더를 사용해 특징를 추출하고 별도의 헤드를 분류에 사용하며, 재구성 손실은 버블넥(잠재) 표현에 적용한다.
• 모델을 점진적으로 학습시켜 동일한 인코더를 재사용하면서 분류기의 파라미터를 미세조정하고 잠재공간 제약을 강제한다.
• 잠재공간과 출력공간 간의 상호정보성을 활용하여 이전 데이터에 접근하지 않아도 지식 유지가 가능하다.

실험 결과

연구 질문

• RQ1 고수준 특징공간을 모델링하고 학습 중에 제약를 두는 것이 지속적 학습에서 지식 유지에 기여하는가?
• RQ2 제안된 방법은 LwF, EWC 및 그 조합과 비교해 이전에 학습한 작업의 성능 유지 측면에서 어떻게 성능을 내는가?
• RQ3 이 방법은 개인정보 보호 제약과 순차적 데이터 접근이 요구되는 실제 의료 영상 작업에 일반화되는가?
• RQ4 모델 파라미터나 출력 로짓을 제약하는 것보다 잠재공간에 대한 재구성 손실이 얼마나 더 뛰어난 성능을 내는가?
• RQ5 여러 개의 점진적 학습 스테이지가 지나도 초기 작업에 대해 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 스테이지-4에서 CIFAR-10의 스테이지-1 학습 데이터에 대해 88.22%의 정확도를 달성했으며, FT(85.75%), EWC(85.97%), LwF(88.64%), LwF+(89.40%)를 모두 초월했다.
• CIFAR-100에서는 스테이지-4에서 스테이지-1 데이터 정확도를 69.34% 유지했으며, 최종 스테이지에서 LwF+(66.91%)와 EWCLwF+(69.34%)를 모두 뛰어넘었다.
• 흉부 X-ray 결핵 데이터셋에서는 스테이지-4에서 스테이지-1 데이터에 대해 AUC 0.909를 달성했으며, LwF+(0.898)와 EWCLwF+(0.884)를 모두 초월했다.
• 모든 스테이지에서 지식 유지 성능 향상이 일관되게 관찰되었으며, 특히 잊음 현상이 가장 심각한 후반 스테이지에서 가장 큰 향상이 있었다.
• TB 데이터셋에서 제안된 방법의 앙상블 성능(AUC 0.9363)은 모든 베이스라인 중에서 가장 높았으며, 시행 간 안정성을 입증했다.
• 그림 5의 ROC 곡선은 제안된 방법이 스테이지-4에서 스테이지-1 데이터에 대해 유의미하게 높은 민감도를 유지하고 있음을 보여주며, 뛰어난 지식 유지 능력을 확인한다.