[논문 리뷰] GAN Memory with No Forgetting

Yulai Cong, Miaoyun Zhao외 3명|arXiv (Cornell University)|2020. 06. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 98인용 수 4

한 줄 요약

이 논문은 기존 작업을 잊지 않고 새로운 시각적으로 다를 수 있는 데이터 분포에서 현실적인 샘플을 생성할 수 있도록 사전 훈련된 GAN의 스타일 조절 기법을 활용하는 생애주기 학습 프레임워크인 GAN Memory를 제안한다. 생성자와 판별기 모두에 수정된 FiLM 및 AdaIN 레이어를 적용함으로써, 최소한의 기억 상실로 고해상도의 재생 생성을 달성하며, CIFAR-10 및 ImageNet 벤치마크에서 기존 방법들을 능가한다. 이는 파라미터 압축과 작업 간 지식 공유를 가능하게 한다.

ABSTRACT

As a fundamental issue in lifelong learning, catastrophic forgetting is directly caused by inaccessible historical data; accordingly, if the data (information) were memorized perfectly, no forgetting should be expected. Motivated by that, we propose a GAN memory for lifelong learning, which is capable of remembering a stream of datasets via generative processes, with \emph{no} forgetting. Our GAN memory is based on recognizing that one can modulate the "style" of a GAN model to form perceptually-distant targeted generation. Accordingly, we propose to do sequential style modulations atop a well-behaved base GAN model, to form sequential targeted generative models, while simultaneously benefiting from the transferred base knowledge. The GAN memory -- that is motivated by lifelong learning -- is therefore itself manifested by a form of lifelong learning, via forward transfer and modulation of information from prior tasks. Experiments demonstrate the superiority of our method over existing approaches and its effectiveness in alleviating catastrophic forgetting for lifelong classification problems. Code is available at https://github.com/MiaoyunZhao/GANmemory_LifelongLearning.

연구 동기 및 목표

• 원시 데이터를 저장하는 대신 생성 모델링을 통해 생애주기 학습에서 치명적인 기억 상실 문제를 해결한다.
• 기존 방법에서의 흐릿하거나 저품질의 샘플 제한을 피하기 위해 확장 가능하고 프라이버시를 보장하는 생성 재생 메커니즘을 개발한다.
• 성능 저하 없이 장기간의 작업 시퀀스 동안 고차원 데이터(예: 이미지)에 대해 지속적인 학습을 가능하게 한다.
• 압축 가능하고 작업별로 특화된 스타일 파라미터를 통해 파라미터 효율성과 지식 재사용을 달성한다.

제안 방법

• 기본 모델로 잘 동작하는 사전 훈련된 GAN을 활용하며, 생성자와 판별기를 수정된 스타일 조절 기법을 통해 적응시킨다.
• 완전 연결층과 합성곱층을 각각 조절하기 위해 mFiLM 및 mAdaFM을 도입하여 새로운 시각적으로 다를 수 있는 도메인으로의 스타일 전이를 가능하게 한다.
• 순차적인 스타일 조절을 적용하여 기존 기반 모델의 지식을 유지하면서 작업별로 특화된 GAN을 생성함으로써 생애주기 생성 메모리를 형성한다.
• 저랭크 근사와 파라미터 공유를 활용해 스타일 파라미터를 압축함으로써 성능 손실 없이 모델 크기를 줄인다.
• 하류 분류 작업에서 기억 상실을 완화하기 위해 GAN 메모리를 현실적인 생성 재생 메커니즘으로 활용한다.
• 조건부 변형을 도입하여 클래스 조건부 생성을 지원하고 하류 성능를 향상시킨다.

실험 결과

연구 질문

• RQ1 하나의 사전 훈련된 GAN이 기존 작업을 기억하지 않으면서도 여러 시각적으로 다를 수 있는 데이터 분포에서 현실적인 샘플을 효과적으로 생성할 수 있는가?
• RQ2 스타일 조절 기법을 생성자와 판별기의 양 측면에 어떻게 확장하여 효과적인 생애주기 학습을 달성할 수 있는가?
• RQ3 압축을 통해 작업별 스타일 파라미터의 수를 얼마나 줄일 수 있으며, 생성 품질과 기억 상실 없이 유지할 수 있는가?
• RQ4 CIFAR-10 및 ImageNet과 같은 복잡한 데이터셋에서 기존의 생성 재생 및 코어셋 기반 방법보다 GAN 메모리 프레임워크가 치명적인 기억 상실을 얼마나 효과적으로 완화하는가?
• RQ5 학습된 스타일 파라미터를 작업 간에 공유하거나 재사용할 수 있는가? 이를 통해 점차 증가하는 생성 능력을 갖춘 효율적인 생애주기 학습이 가능한가?

주요 결과

• CIFAR-10에서 6개의 작업을 수행할 때, GAN 메모리는 공동 훈련 상한에 1.5% 이내의 테스트 정확도를 기록하여 지속적 학습에서 뛰어난 성능을 보였다.
• ImageNet 기반 나비 분류 작업에서, 압축된 GAN 메모리는 스타일 파라미터 수를 최대 97.3% 감소시켰다(1060만에서 30만으로), 경쟁적인 FID 점수를 유지했다.
• 압축된 GAN 메모리의 FID 점수(D1 기준 27.67)는 단순한 버전(28.89)과 유사하여 성능 저하 없이 효과적인 압축을 확인했다.
• 작업 간 파라미터 공유로 후속 작업에 필요한 새로운 파라미터 수를 최대 97%까지 줄일 수 있었으며, 강력한 지식 재사용 능력을 입증했다.
• 이 방법은 기존의 생성 재생 및 코어셋 기반 접근 방식을 능가하는 최신 기술 수준의 성능을 달성했다.
• 다양한 도메인에서 현실적이고 고해상도의 샘플 생성이 가능했으며, 6개의 순차적 작업 후에도 치명적인 기억 상실이 관찰되지 않았다.