[논문 리뷰] Compressing Weight-updates for Image Artifacts Removal Neural Networks

Yat Hong Lam, Alireza Zare외 5명|arXiv (Cornell University)|2019. 05. 10.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 이미지 아티팩트 제거를 위한 피니튜닝 중 신경망 가중치 업데이트를 압축하기 위한 방법을 제안하며, 압축에 유리한 목표 함수를 사용하여 희박성과 양자화 친화적인 업데이트를 유도한다. 이 방법은 전통적인 코덱 비트스트림에 이러한 업데이트를 효율적으로 통합할 수 있게 하여 동일 비트레이트에서 표준 코덱과 비견되거나 이를 초월하는 복원 품질을 달성한다 — 이는 신경망 가중치 업데이트 압축을 이미지 압축 파이프라인에 통합한 최초의 사례이다.

ABSTRACT

In this paper, we present a novel approach for fine-tuning a decoder-side neural network in the context of image compression, such that the weight-updates are better compressible. At encoder side, we fine-tune a pre-trained artifact removal network on target data by using a compression objective applied on the weight-update. In particular, the compression objective encourages weight-updates which are sparse and closer to quantized values. This way, the final weight-update can be compressed more efficiently by pruning and quantization, and can be included into the encoded bitstream together with the image bitstream of a traditional codec. We show that this approach achieves reconstruction quality which is on-par or slightly superior to a traditional codec, at comparable bitrates. To our knowledge, this is the first attempt to combine image compression and neural network's weight update compression.

연구 동기 및 목표

• 이미지 압축 파이프라인에서 전체 신경망 가중치 업데이트를 전송하는 데 발생하는 비효율성을 해결하기 위해.
• 피니튜닝 중에 희박성과 양자화 호환성을 유도함으로써 모델 업데이트의 압축 가능성을 향상시키기 위해.
• 압축된 가중치 업데이트를 표준 이미지 코덱 비트스트림에 손실 없이 통합하기 위해.
• 엔드 투 엔드 이미지 복원을 위한 신경망 피니튜닝과 압축 목표 함수의 공동 설계 가능성 탐색하기 위해.

제안 방법

• 압축에 유리한 목표 함수를 디코더 측 신경망의 피니튜닝 중 적용하여, 보다 압축에 유리한 가중치 업데이트 형태로 조정한다.
• 목표 함수는 가중치 업데이트의 희박성을 유도하고, 양자화 수준에 가까운 값들을 유도하여 압축 가능성을 향상시킨다.
• 이후 가중치 업데이트는 잘라내기 및 양자화되어 주 이미지 비트스트림에 효율적으로 인코딩된다.
• 이 방법은 전통적인 이미지 코덱 파이프라인에 통합되어 이미지 데이터와 압축된 가중치 업데이트가 함께 전송된다.
• 고정밀 아티팩트 제거 네트워크를 사전 학습시켜 복원 정밀도를 유지하면서도 업데이트 크기를 최소화한다.

실험 결과

연구 질문

• RQ1 특화된 학습 목표 함수를 통해 피니튜닝된 신경망의 가중치 업데이트를 더 압축 가능하게 만들 수 있는가?
• RQ2 압축에 유리한 피니튜닝이 표준 코덱 대비 이미지 복원 품질에 어떤 영향을 미치는가?
• RQ3 압축된 가중치 업데이트가 전통적인 이미지 비트스트림에 얼마나 효율적으로 통합될 수 있는가?
• RQ4 모델 업데이트의 압축 가능성과 이미지 복원 정밀도 사이에 상충 관계가 존재하는가?

주요 결과

• 제안된 방법은 동일 비트레이트에서 기존 코덱과 비견되거나 略로 뛰어난 이미지 복원 품질을 달성한다.
• 압축 목표 함수에 따라 생성된 가중치 업데이트는 유도된 희박성과 양자화 일치로 인해 상당히 더 높은 압축 가능성을 확보한다.
• 주 비트스트림에 압축된 가중치 업데이트를 통합하는 것은 가능하며, 엔드 투 엔드 압축 효율성을 유지한다.
• 이 방법은 통합된 파이프라인에서 신경망 가중치 업데이트 압축과 이미지 압축을 함께 최적화한 최초의 알려진 시도이다.