[논문 리뷰] Learned Compression Artifact Removal by Deep Residual Networks

Ogün Kırmemiş, Gonca Bakar외 1명|arXiv (Cornell University)|2018. 06. 01.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 BPG로 압축된 이미지의 압축 잔상 줄이기 위해 딥 리소지드 네트워크 기반의 후처리 방법을 제안한다. SELU 활성화 함수와 스킵 커넥션을 적용한 수정된 EDSR 아키텍처를 사용하며, 정수 프로그래밍 최적화를 통해 파일 크기와 디코딩 시간 제약 조건을 고려하여 평균 PSNR 향상도 0.443 dB(최대 0.575 dB)를 달성하고 시각적 품질 향상도 뚜렷하다.

ABSTRACT

We propose a method for learned compression artifact removal by post-processing of BPG compressed images. We trained three networks of different sizes. We encoded input images using BPG with different QP values. We submitted the best combination of test images, encoded with different QP and post-processed by one of three networks, which satisfy the file size and decode time constraints imposed by the Challenge. The selection of the best combination is posed as an integer programming problem. Although the visual improvements in image quality is impressive, the average PSNR improvement for the results is about 0.5 dB.

연구 동기 및 목표

• 딥 러닝 기반의 후처리를 통해 BPG로 압축된 이미지의 주관적 및 객관적 품질을 향상시키는 것.
• 엔드 투 엔드 학습 기반 압축 기술이 아직 완성되지 않은 상황에서, 기존 신호 처리 기반 코덱의 한계를 극복하기 위해 학습된 잔상 제거 기법을 활용하는 것.
• 실제 환경에서의 구현 조건인 파일 크기와 디코딩 시간 제약을 고려한 계산 효율성이 뛰어난 후처리 파이프라인 개발.
• 파일 크기 및 처리 시간 제약 조건 하에서 PSNR를 최대화하기 위해 정수 프로그래밍을 활용해 QP 값과 후처리 네트워크 선택을 최적화하는 것.

제안 방법

• 잔상 제거를 위해 SELU 활성화 함수와 입력 이미지에서 출력 이미지로 직접 연결되는 스킵 커넥션을 적용한 수정된 EDSR 스타일의 잔여 네트워크를 사용한다.
• 네트워크는 잔여 스케일링을 적용하며, QP=40에서 BPG로 인코딩된 이미지 데이터셋을 기반으로 훈련되며, 입력 이미지가 목표 이미지에 가까워지도록 설계되어 정체성 유사 행동을 유도한다.
• 메모리 제약 조건을 고려해 디코더는 이미지를 4개의 겹치는 블록으로 나누어 오버랩-세이브 방법을 사용해 처리하며, 유효 커널 크기는 E = (k−1)l + 1로 계산된다.
• 각 이미지의 최적 QP(38–42)를 선택하기 위해 원핫 벡터 인코딩을 사용하며, 총 파일 크기 제한 0.15 bpp를 만족시키면서 왜곡을 최소화한다.
• 정수 프로그래밍 수식을 통해 테스트 이미지 전체에 걸쳐 QP 선택과 네트워크 선택을 동시에 최적화하여 파일 크기 및 처리 시간 제약 조건 하에서 PSNR를 최대화한다.
• 최종 제출은 MVGL A(71개 고영향도 이미지용)와 MVGL B(나머지 이미지용)를 조합하여 총 처리 시간 45시간 이내로 유지한다.

실험 결과

연구 질문

• RQ1 학습된 후처리 네트워크가 BPG로 압축된 이미지의 시각적 품질과 객관적 품질을 뚜렷이 향상시킬 수 있는가?
• RQ2 네트워크의 깊이와 아키텍처가 잔상 제거에서 PSNR 향상도와 계산 비용에 어떤 영향을 미치는가?
• RQ3 파일 크기 및 시간 제약 조건 하에서 정수 프로그래밍을 활용해 QP 선택과 네트워크 선택을 효과적으로 동시에 최적화할 수 있는가?
• RQ4 단일 QP(QP=40)에서 훈련된 네트워크가 다른 QP 값(QP=38–43)으로 일반화될 수 있는가?
• RQ5 더 깊은 네트워크를 사용할 경우 PSNR 향상도와 처리 시간 간의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 방법은 테스트 세트에서 평균 0.443 dB의 PSNR 향상을 달성했으며, MVGL A를 사용할 경우 최대 0.575 dB의 개선을 기록했다.
• MVGL A(32개의 잔여 블록, 96개 필터)는 가장 높은 PSNR 향상을 보였지만, 45시간 처리 시간 제한을 초과하여 71개 이미지에만 적용되었다.
• MVGL B(8개 블록)와 MVGL C(32개 블록, 48개 필터)는 각각 0.319 dB와 0.360 dB의 낮은 수준이지만 여전히 뚜렷한 PSNR 향상을 보였으며, 훨씬 빠른 추론 시간을 제공했다.
• QP=40에서 훈련된 네트워크는 QP=38–43의 다른 QP 값으로도 잘 일반화되었으며, 표 3에서 모든 QP 수준에서 일관된 PSNR 향상이 관찰되었다.
• 정수 프로그래밍 솔루션은 QP=38에서 1개, QP=40에서 109개, QP=41에서 120개, QP=42에서 56개의 이미지를 선택하여 평균 비트레이트 0.15 bpp를 달성했다.
• 그림 4의 시각적 결과는 블로킹 및 리버버브 잔상이 뚜렷이 감소한 상당한 주관적 품질 향상을 보여준다.