[논문 리뷰] CAM-GAN: Continual Adaptation Modules for Generative Adversarial Networks

Sakshi Varshney, Vinay Kumar Verma외 3명|arXiv (Cornell University)|2021. 03. 06.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 임계적 기억 상실을 방지하기 위해 작업별 어댑터 모듈과 특징 공간 내 잔차 편향을 사용하는 메모리 효율적인 지속적 학습 프레임워크인 CAM-GAN을 제안한다. 작업 유사도를 피셔 정보 행렬 임bedding을 통해 초기화함으로써, 이전 방법보다 36% 적은 파라미터로 최신 기술 성능을 달성한다.

ABSTRACT

We present a continual learning approach for generative adversarial networks (GANs), by designing and leveraging parameter-efficient feature map transformations. Our approach is based on learning a set of global and task-specific parameters. The global parameters are fixed across tasks whereas the task-specific parameters act as local adapters for each task, and help in efficiently obtaining task-specific feature maps. Moreover, we propose an element-wise addition of residual bias in the transformed feature space, which further helps stabilize GAN training in such settings. Our approach also leverages task similarity information based on the Fisher information matrix. Leveraging this knowledge from previous tasks significantly improves the model performance. In addition, the similarity measure also helps reduce the parameter growth in continual adaptation and helps to learn a compact model. In contrast to the recent approaches for continually-learned GANs, the proposed approach provides a memory-efficient way to perform effective continual data generation. Through extensive experiments on challenging and diverse datasets, we show that the feature-map-transformation approach outperforms state-of-the-art methods for continually-learned GANs, with substantially fewer parameters. The proposed method generates high-quality samples that can also improve the generative-replay-based continual learning for discriminative tasks.

연구 동기 및 목표

• 지속적 학습에서 생성적 적대적 네트워크(GAN)의 임계적 기억 상실 문제를 해결하는 것. 이는 분류 모델에 비해 아직 다루어지지 않은 분야이다.
• 기존에 학습된 작업에서 성능 저하 없이 지속적 적응 동안도 파라미터 효율적이고 확장 가능한 아키텍처를 설계하는 것.
• 모델 성장과 FLOP 비용을 줄이면서도 여러 작업 간 높은 품질의 샘플 생성을 유지하는 것.
• 작업 유사도 정보를 모델 초기화에 통합하여 수렴 속도를 가속화하고 성능을 향상시키는 것.
• 고정밀도, 작업별 특화된 GAN 샘플을 활용해 분류 작업의 지속적 학습에서 효과적인 생성적 리플레이를 가능하게 하는 것.

제안 방법

• 기본 GAN은 초기 작업에 대해 훈련된 고정된 전역 파라미터를 사용하며, 이후 훈련 동안 동결된다.
• 각 새로운 작업마다 전역 특징 맵을 작업별 특징 맵으로 변환하기 위해 작업별 어댑터 모듈(1×1 컨벌루션)을 추가한다. 이는 효율적인 적응을 가능하게 한다.
• 훈련 안정성을 향상시키기 위해 변환된 특징 공간에 잔차 편향을 도입하여 생성기 및 판별기 손실의 발산을 방지한다.
• 필터별 평균 피셔 정보 행렬을 사용해 작업 유사도를 측정함으로써, 새로운 작업 어댑터의 유사도 인식 초기화를 가능하게 한다.
• 오직 작업별 어댑터 파라미터만 업데이트되는 동적 확장 전략을 사용하여 파라미터 성장을 최소화한다.
• 그룹화 및 포인트와이즈 컨벌루션과 같은 효율적인 아키텍처 선택을 통해 작업별 파라미터 수를 작게 유지한다.

실험 결과

연구 질문

• RQ1 기존 데이터 재학습 없이도 파라미터 효율적이고 확장 가능한 GAN 아키텍처가 지속적 학습 중에 임계적 기억 상실을 방지할 수 있는가?
• RQ2 변환된 특징 공간 내 잔차 편향이 지속적 GAN 학습의 훈련 안정성에 어떻게 기여하는가?
• RQ3 피셔 정보 행렬 임베딩을 통한 작업 유사도 통합이 모델 성능 향상과 파라미터 요구량 감소에 얼마나 기여하는가?
• RQ4 제안된 방법이 분류 작업의 지속적 학습에서 효과적인 생성적 리플레이를 위해 사용 가능한 고품질의 작업별 특화 샘플을 생성할 수 있는가?
• RQ5 FID 점수와 파라미터 효율성 측면에서 CAM-GAN의 성능은 최신 기술 방법과 비교해 어떻게 되는가?

주요 결과

• CAM-GAN은 기존 방법보다 36% 적은 파라미터로 다양한 데이터셋에서 최신 기술 FID 점수를 달성하여 뛰어난 파라미터 효율성을 입증한다.
• 전체 파라미터의 약 1%에 불과한 1×1 어댑터 모듈의 포함이 성능 향상에 크게 기여하며, 이를 제거하면 FID 점수에 심각한 하락이 발생한다.
• 변환된 특징 공간 내 잔차 편향은 훈련 안정성을 향상시켜 손실 발산을 방지하고 최대 600K 반복까지 안정적인 훈련을 가능하게 한다.
• 작업 유사도 기반 초기화를 통해 최대 50%까지 작업별 파라미터 수를 줄일 수 있었으며, 전체 파라미터 초기화와 비교해 유사한 성능 유지를 달성했다.
• 전역 파라미터가 동결되어 있어 임계적 기억 상실이 발생하지 않으며, 이전 작업의 성능 유지가 확인되었다.
• 생성된 샘플은 고품질이며 생성적 리플레이에 효과적이며, 분류 작업의 지속적 학습 성능 향상에 기여한다.