[논문 리뷰] Online Learned Continual Compression with Adaptive Quantization Modules

Lucas Caccia, Eugene Belilovsky외 2명|arXiv (Cornell University)|2019. 11. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 38

한 줄 요약

이 논문은 VQ-VAE를 기반으로 한 Adaptive Quantization Modules (AQM)을 활용하여 고정 메모리 내에서 비 iid 데이터 스트림을 압축하고 저장하는 Online Continual Compression (OCC)을 제안하며, 향후 디코더에 의해 이전 표현이 해독 가능하고 작업 간 온라인 학습이 가능하도록 한다.

ABSTRACT

We introduce and study the problem of Online Continual Compression, where one attempts to simultaneously learn to compress and store a representative dataset from a non i.i.d data stream, while only observing each sample once. A naive application of auto-encoders in this setting encounters a major challenge: representations derived from earlier encoder states must be usable by later decoder states. We show how to use discrete auto-encoders to effectively address this challenge and introduce Adaptive Quantization Modules (AQM) to control variation in the compression ability of the module at any given stage of learning. This enables selecting an appropriate compression for incoming samples, while taking into account overall memory constraints and current progress of the learned compression. Unlike previous methods, our approach does not require any pretraining, even on challenging datasets. We show that using AQM to replace standard episodic memory in continual learning settings leads to significant gains on continual learning benchmarks. Furthermore we demonstrate this approach with larger images, LiDAR, and reinforcement learning environments.

연구 동기 및 목표

• Online Continual Compression (OCC) 문제와 그 도전 과제(표현 변동, 망각, 비정상 데이터) 정의.
• VQ-VAE를 기반으로 한 Adaptive Quantization Modules (AQM)을 제안하여 다중 수준 압축과 메모리 관리.
• 고정 용량 하에서 메모리 품질을 유지하기 위한 Self-replay와 stream sampling 개발.
• 온라인 이미지 분류, 대형 이미지, LiDAR, RL 설정에서의 효과성 시연.

제안 방법

• 일련의 VQ-VAEs를 각 수준별로 분리된 codebook으로 사용하여 표현을 이산화한다.
• 각 수준이 서로 다른 비트레이트로 codebook 인덱스를 저장하는 적응형 다계층 저장 스킴을 도입한다.
• Self-replay를 활용하여 새 데이터와 저장된 표현의 무작위 샘플링을 모두 사용해 AQM을 업데이트한다.
• 멈춤 없이 저장된 샘플을 삭제하는 비균일하고 메모리 의존적인 스트림 샘플링 전략을 구현하여 분포의 표현을 극대화한다.
• 드리프트 제어를 위해 codebook을 고정시키고 인코더/디코더의 적응은 허용하여 표현의 안정성을 확보한다.
• 데이터 흐름, 인코딩, 저장 및 메모리 업데이트를 개략적으로 제시하는 온라인 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 인코더가 발전함에 따라 표현 변동에도 불구하고 온라인으로 학습된 압축이 과거 표현을 저장하고 검색할 수 있는가?
• RQ2 적응적 다계층 양자화가 온라인 continual 학습에서 메모리 효율성과 재구성 품질을 향상시키는가?
• RQ3 내부 재생 및 스트리밍 샘플링이 고정 저장 공간 내에서 망각을 줄일 수 있는가?
• RQ4 AQM을 사용하는 OCC가 온라인 continual 이미지 분류에서 어떻게 수행되며 더 큰 이미지, LiDAR, RL 관찰에도 확장되는가?

주요 결과

• AQM과 벡터 양자화 VAE는 온라인 계속적 설정에서 표현 변동을 효과적으로 완화한다.
• 다계층 저장과 Self-replay는 JPEG를 사용하는 ER과 같은 기준선에 비해 메모리 예산이 작을 때도 더 높은 정확도와 감소된 망각을 가능하게 한다.
• CIFAR-10 continual learning 벤치마크에서 AQM은 다양한 메모리 크기에서 ER 및 다른 기준선에 비해 상당히 뛰어난 성능을 보여 망각 감소와 함께 성능이 크게 향상된다.
• ImageNet에 대한 오프라인 평가에서 압축된 메모리의 이점이 저장소 샘플링된 비압축 데이터보다 우수하며, 각 구성 요소(코드북 안정화, 분리된 학습, 적응형 압축, 드리프트 제어)의 importance를 확인하는 소거 실험이 수행되었다.
• AQM은 더 큰 모달리티(ImageNet, LiDAR) 및 RL 관찰에 확장 가능하며, 작업 관련 정보가 보존된 상태로 압축(예: 32x)이 가능하다.