[논문 리뷰] One-to-Many Network for Visually Pleasing Compression Artifacts Reduction

Jun Guo, Hongyang Chao|arXiv (Cornell University)|2016. 11. 15.

Advanced Image Processing Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 한 번의 입력에 대해 여러 개의 시각적으로 매력적이고 고화질의 복원 결과를 생성하는 one-to-many 딥러닝 네트워크를 제안한다. L2 손실 최적화로 인해 과도하게 매끄럽고 무늬를 잃는 출력을 방지하기 위해, 인지적, 자연스러움, JPEG 전용 손실을 사용한다. PSNR가 낮음에도 불구하고 시각적 품질에서 최신 기술을 능가하며, 시프트 앤 어웨이 디컨볼루션 전략을 통해 더 나은 무늬 복원과 잔상 감소를 달성한다.

ABSTRACT

We consider the compression artifacts reduction problem, where a compressed image is transformed into an artifact-free image. Recent approaches for this problem typically train a one-to-one mapping using a per-pixel $L_2$ loss between the outputs and the ground-truths. We point out that these approaches used to produce overly smooth results, and PSNR doesn't reflect their real performance. In this paper, we propose a one-to-many network, which measures output quality using a perceptual loss, a naturalness loss, and a JPEG loss. We also avoid grid-like artifacts during deconvolution using a "shift-and-average" strategy. Extensive experimental results demonstrate the dramatic visual improvement of our approach over the state of the arts.

연구 동기 및 목표

• 기존 one-to-one 딥러닝 모델이 L2 손실 최적화로 인해 과도하게 매끄럽고 무늬를 잃는 출력을 내는 데서 비롯되는 한계를 해결하기 위해.
• JPEG 양자화의 many-to-one 성격을 모델링하기 위해, 여러 개의 인지적으로 선호되는 잔상 없는 후보를 생성하는 one-to-many 매핑을 학습하기 위해.
• PSNR를 넘어서 시각적 품질을 향상시키기 위해, 인간의 시각적 선호도를 더 잘 반영하는 인지적, 자연스러움, JPEG 전용 손실을 통합하기 위해.
• 전치 컨볼루션으로 인한 격자 무늬 잔상 문제를 해결하기 위해, 시프트 앤 어웨이 전략을 적용하기 위해.
• PSNR가 기준 또는 압축된 입력보다 낮을 때조차도 인지적 품질을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 단일 압축 이미지 입력에서 여러 개의 잔상 없는 복원 결과를 생성하는 one-to-many 네트워크 아키텍처를 제안한다.
• 사전 학습된 VGG 네트워크의 특징을 기반으로 한 인지적 손실을 사용하여 고수준의 의미적 구조를 유지한다.
• 학습된 분류기를 사용한 자연스러움 손실을 도입하여 현실적인 이미지 통계와 세부 정보를 강화한다.
• 원래 JPEG 인코딩 과정과의 대비 및 밝기 일관성을 유지하기 위해 JPEG 손실을 통합한다.
• 전치 컨볼루션 중에 '시프트 앤 어웨이' 전략을 적용하여 전치 컨볼루션으로 인한 격자 무늬 잔상을 억제한다.
• 인지적, 자연스러움, JPEG 손실을 병합한 다중 구성 요소 손실을 최적화하여 정확도와 시각적 매력의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 one-to-many 딥러닝 프레임워크는 one-to-one 매핑에 비해 JPEG 압축 잔상 제거의 시각적 품질을 향상시킬 수 있는가?
• RQ2 L2 손실을 인지적 및 자연스러움 손실로 대체하면 더 현실적이고 무늬가 풍부한 복원 결과를 얻을 수 있는가?
• RQ3 인지적, 자연스러움, JPEG 전용 손실의 조합은 PSNR보다 인간의 시각적 선호도를 더 잘 반영할 수 있는가?
• RQ4 시프트 앤 어웨이 전략은 디컨볼루션으로 인한 격자 무늬 잔상을 억제하는 데 얼마나 효과적인가?
• RQ5 왜 제안된 방법에서는 PSNR 값이 낮아지지만 시각적 품질은 향상되는가?

주요 결과

• 제안된 one-to-many 네트워크는 ARCNN 및 DDCN와의 비교에서 더 뛰어난 시각적 매력도를 보이며, 더 풍부한 무늬와 선명한 윤곽선을 제공한다.
• 예를 들어 Set14에서 PSNR가 21.50과 21.53이고, BSDS500에서 24.99와 25.32임에도 불구하고, 복원 결과의 시각적 품질은 PSNR가 시사하는 것보다 뚜렷하게 뛰어나다.
• 시프트 앤 어웨이 전략은 디컨볼루션으로 인한 격자 무늬 잔상을 효과적으로 억제하여 시각적 품질을 향상시키며, 인지적 성능을 떨어뜨리지 않는다.
• 인지적, 자연스러움, JPEG 손실의 조합은 대비와 세부 정보가 향상된 복원 결과를 이끌어내며, 특히 털과 돌과 같은 고주파 영역에서 두드러진다.
• 결과는 네트워크가 의미 인식 기반 복원을 학습하고 있으며, 눈에 띄는 영역(예: 털, 덤불)에서는 무늬를 풍부하게 하고, 깔끔한 배경(예: 하늘)은 그대로 유지함을 보여준다.
• 이 방법은 색상 이미지로도 일반화되며, DDCN 및 기준 모델보다 RGB 데이터셋인 BSDS500에서 뛰어난 결과를 도출한다.