[논문 리뷰] BlockCNN: A Deep Network for Artifact Removal and Image Compression

Danial Maleki, Soheila Nadalian외 2명|arXiv (Cornell University)|2018. 05. 01.

Advanced Image Processing Techniques인용 수 13

한 줄 요약

BlockCNN는 공유된 네트워크 아키텍처와 각 작업에 맞는 학습 가중치를 활용하여 동시에 JPEG 아티팩트 제거와 이미지 압축을 수행하는 통합된 딥러닝 프레임워크를 제안한다. 이는 8×8 이미지 블록을 순차적으로 처리하며, 이전 블록들로부터 강도를 예측하고 잔차를 저장한다. 또한 기존의 JPEG 루틴을 재사용하여, 고속과 단순성으로 두 작업 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

We present a general technique that performs both artifact removal and image compression. For artifact removal, we input a JPEG image and try to remove its compression artifacts. For compression, we input an image and process its 8 by 8 blocks in a sequence. For each block, we first try to predict its intensities based on previous blocks; then, we store a residual with respect to the input image. Our technique reuses JPEG's legacy compression and decompression routines. Both our artifact removal and our image compression techniques use the same deep network, but with different training weights. Our technique is simple and fast and it significantly improves the performance of artifact removal and image compression.

연구 동기 및 목표

• JPEG 아티팩트 제거와 이미지 압축을 동시에 해결하는 통합된 딥러닝 프레임워크를 개발하는 것.
• 기존의 JPEG 압축 및 복원 루틴을 재사용하여 계산 복잡도를 줄이고 속도를 향상시키는 것.
• 작업별로 맞춤화된 학습 가중치를 가진 단일 공유 네트워크 아키텍처를 통해 고품질의 이미지 복원과 효율적인 압축을 가능하게 하는 것.
• 이미지 처리에서 블록 기반 예측과 잔차 인코딩에 대한 엔드 투 엔드 학습의 가능성을 탐색하는 것.

제안 방법

• 이 방법은 이미지를 8×8 블록으로 나누어 이전에 처리된 블록들에 기반한 강도를 예측하는 딥 네트워크를 사용하여 순차적으로 처리한다.
• 각 블록에 대해, 네트워크는 예측된 강도와 실제 강도 사이의 잔차를 계산하고, 이를 인코딩하여 저장한다.
• 동일한 딥 네트워크가 아티팩트 제거와 압축 모두에 사용되며, 각 작업에 맞게 다른 학습 가중치를 적용한다.
• 기존의 JPEG 양자화 및 역양자화 단계를 재사용하여 호환성과 효율성을 유지한다.
• 아티팩트 제거 및 압축 시나리오 양쪽에서 복원 오차를 최소화하도록 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크가 아티팩트 제거와 압축을 효과적으로 동시에 수행할 수 있는가?
• RQ2 이전 블록들에 기반한 블록 단위 예측은 압축 효율성과 복원 품질을 어떻게 향상시키는가?
• RQ3 현대적인 딥러닝 프레임워크 내에서 기존의 JPEG 루틴을 얼마나 효과적으로 재사용할 수 있는가?
• RQ4 아티팩트 제거와 압축을 함께 최적화하면 별도의 접근 방식보다 더 나은 성능을 낼 수 있는가?

주요 결과

• BlockCNN는 이전에 처리된 블록들로부터의 맥락을 활용하여 JPEG 아티팩트 제거에서 뚜렷한 성능 향상을 달성한다.
• 이 방법은 이미지 복원에서 잔차 오차를 줄여 더 높은 시각적 품질과 낮은 왜곡을 이룬다.
• JPEG의 압축 파이프라인을 재사용함으로써 후행 호환성 유지와 계산 오버헤드 감소를 달성한다.
• 작업별로 맞춤화된 가중치를 가진 통합 네트워크는 별도의 아티팩트 제거 및 압축 모델보다 우수한 성능을 보인다.