[논문 리뷰] Learning to Inpaint for Image Compression

Mohammad Haris Baig, Vladlen Koltun외 1명|arXiv (Cornell University)|2017. 09. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 38

한 줄 요약

이 논문은 '잔차에서 이미지로'(R2I) 및 인painting 기반 아키텍처를 사용한 손실 압축을 위한 새로운 딥러닝 접근법을 제안한다. 잔차에서 원본 이미지 콘텐츠를 재구성하도록 모델을 훈련하고, 인접한 패치들로부터 다중 척도 인painting을 활용함으로써 기준 잔차 인코더 대비 파일 크기를 최대 60.4% 감소시켰으며, 엔트로피 코딩 없이도 경쟁 가능한 성능을 달성한다.

ABSTRACT

We study the design of deep architectures for lossy image compression. We present two architectural recipes in the context of multi-stage progressive encoders and empirically demonstrate their importance on compression performance. Specifically, we show that: (a) predicting the original image data from residuals in a multi-stage progressive architecture facilitates learning and leads to improved performance at approximating the original content and (b) learning to inpaint (from neighboring image pixels) before performing compression reduces the amount of information that must be stored to achieve a high-quality approximation. Incorporating these design choices in a baseline progressive encoder yields an average reduction of over $60\%$ in file size with similar quality compared to the original residual encoder.

연구 동기 및 목표

• 다단계 잔차 인코더에서의 기울기 소실 문제를 해결함으로써 딥러닝 기반 점진적 이미지 압축을 향상시키기.
• 이미지 패치 간의 공간 일관성을 활용하여 고품질 이미지 재구성에 필요한 비트레이트를 감소시키기.
• 인painting과 압축을 통합한 공동 학습 프레임워크를 설계하여 성능 향상 도모하기.
• 인painting 및 압축 네트워크의 엔드 투 엔드 훈련이 별도 훈련보다 더 컴act한 표현을 만들어낼 수 있음을 입증하기.

제안 방법

• 각 단계에서 잔차에서 원본 이미지를 예측하는 잔차에서 이미지로(R2I) 아키텍처를 도입하여 훈련 안정성과 최적화를 향상시킨다.
• 후속 레이어가 이전 단계의 재구성된 콘텐츠에 접근할 수 있도록 단계 간 스킵 연결을 사용하여 특징 학습을 강화한다.
• 다중 척도 컨볼루션을 사용하여 이웃한 이미지 영역의 컨텍스트를 샘플링하여 인painting 성능을 향상시킨다.
• 압축 모델과 동일한 잠재 표현을 사용함으로써 압축 네트워크와 함께 인painting 네트워크를 공동으로 훈련시켜 압축성과 저엔트로피 코드를 확보한다.
• 표준 잔차 입력/잔차 출력 손실을 잔차 입력/이미지 출력 목적함수로 대체하여 훈련 안정성과 재구성 품질을 향상시킨다.
• 추론 중에 대각선 스캔 패턴을 적용하여 높은 병렬성을 유지하고 콘텐츠 종속성으로 인한 성능 저하를 방지한다.

실험 결과

연구 질문

• RQ1 잔차에서 원본 이미지를 예측하도록 점진적 인코더를 훈련하는 R2I 방식이 표준 잔차 인코딩 대비 압축 성능 향상에 기여하는가?
• RQ2 이웃한 이미지 패치에서 인painting을 학습함으로써 고품질 재구성에 필요한 정보 저장량을 줄일 수 있는가?
• RQ3 압축 모델과 함께 인painting 네트워크를 공동으로 훈련하면 더 컴act하고 효율적인 표현을 얻을 수 있는가?
• RQ4 엔트로피 코딩 없이도 기존의 전통적 코덱과 이전의 딥러닝 접근법 대비 비율-왜곡 성능에서 본 논문의 방법이 어떻게 비교되는가?
• RQ5 스킵 연결 및 다중 척도 컨텍스트 모델링과 같은 아키텍처 선택이 압축 효율성과 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• R2I 아키텍처는 기준 잔차 인코더 대비 파일 크기를 18.53% 감소시켜 최적화 및 재구성 품질 향상을 입증한다.
• R2I 모델과 함께 인painting 네트워크를 공동으로 훈련하면 비트레이트에 추가로 42% 감소시켜 기존 잔차 인코더 대비 총 60.4% 감소를 달성한다.
• GRU 모델이 600만 장의 이미지로 10배 더 오래 훈련된 것과는 달리, R2I 모델은 단지 6.5K 장의 훈련 이미지로도 잔차-GRU 모델을 능가하는 성능을 보였다.
• 엔트로피 코딩 없이도, IR2I 모델은 고급 후처리를 사용하는 전통적 코덱인 JPEG-2000 및 WebP와 경쟁 가능한 비율-왜곡 성능을 달성했다.
• 콘텐츠 종속성을 최소화하고 고병렬성을 확보하기 위해 대각선 스캔 패턴을 사용함으로써 실용적인 추론 속도를 유지했다.
• 이 방법은 공간적·시간적 일관성이 높은 영상 압축에 확장 가능성이 매우 높으며, 이로 인해 더욱 큰 성능 향상이 기대된다.