[논문 리뷰] Multiple Description Convolutional Neural Networks for Image Compression

Lijun Zhao, Huihui Bai외 2명|arXiv (Cornell University)|2018. 01. 20.

Advanced Data Compression Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 깊이 학습 기반 다중 기술 인코딩(MDC) 프레임워크를 제안하며, 컨volution 신경망을 사용해 외관은 유사하지만 특징은 다양하게 생성되는 이미지 기술을 통해 강건한 전송을 구현한다. 이는 거리 및 구조적 유사도 손실로 정규화된 다중 기술 생성 네트워크(MDGN), 측면 및 중심 복원을 위한 복원 네트워크(MDRN), 그리고 엔드 투 엔드 훈련을 위한 가상 코덱 네트워크(MDVCN)를 활용하며, 기존 기준 대비 우수한 객관적 및 주관적 이미지 품질을 달성한다.

ABSTRACT

Multiple description coding (MDC) is able to stably transmit the signal in the un-reliable and non-prioritized networks, which has been broadly studied for several decades. However, the traditional MDC doesn't well leverage image's context features to generate multiple descriptions. In this paper, we propose a novel standard-compliant convolutional neural network-based MDC framework in term of image's context features. Firstly, multiple description generator network (MDGN) is designed to produce appearance-similar yet feature-different multiple descriptions automatically according to image's content, which are compressed by standard codec. Secondly, we present multiple description reconstruction network (MDRN) including side reconstruction network (SRN) and central reconstruction network (CRN). When any one of two lossy descriptions is received at the decoder, SRN network is used to improve the quality of this decoded lossy description by removing the compression artifact and up-sampling simultaneously. Meanwhile, we utilize CRN network with two decoded descriptions as inputs for better reconstruction, if both of lossy descriptions are available. Thirdly, multiple description virtual codec network (MDVCN) is proposed to bridge the gap between MDGN network and MDRN network in order to train an end-to-end MDC framework. Here, two learning algorithms are provided to train our whole framework. In addition to structural similarity loss function, the produced descriptions are used as opposing labels with multiple description distance loss function to regularize the training of MDGN network. These losses guarantee that the generated description images are structurally similar yet finely diverse. Experimental results show a great deal of objective and subjective quality measurements to validate the efficiency of the proposed method.

연구 동기 및 목표

• 기존 MDC 기법이 이미지 맥락 특징을 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 표준 코덱과 호환 가능한 엔드 투 엔드 훈련 가능한 MDC 프레임워크를 설계하기 위해.
• 구조적으로 유사하지만 세부 정보에서 다양성이 있는 다수의 기술을 생성함으로써 복원 품질을 향상시키기 위해.
• 다양한 수신 환경에 맞는 전용 네트워크를 사용해 측면 및 중심 복원 성능을 향상시키기 위해.

제안 방법

• 이미지 맥락을 활용해 외관은 유사하지만 특징은 다른 기술을 생성하는 다중 기술 생성 네트워크(MDGN)를 도입하며, 구조적 유사도(SSIM) 및 기술 거리 손실로 정규화한다.
• 측면 복원 네트워크(SRN)를 통해 단일 기술 복원을 수행하고 중심 복원 네트워크(CRN)를 통해 이중 기술 융합을 수행하는 다중 기술 복원 네트워크(MDRN)를 활용한다.
• MDGN과 MDRN 간 격차를 메우기 위해 가상 코덱 네트워크(MDVCN)를 사용하며, 표준 코덱 호환성과 함께 엔드 투 엔드 훈련을 가능하게 한다.
• 두 가지 학습 알고리즘을 적용: SSIM 및 거리 손실을 사용해 MDGN 훈련을 정규화함으로써, 구조적 유사성을 유지하면서도 다양성을 확보한다.
• 기존 압축 표준과 호환 가능하도록 표준 코덱(예: JPEG)을 사용해 생성된 기술을 압축한다.
• 거리 손실 내에서 대립 레이블을 활용해 적대적 레이블링을 통해 기술 간 특징 수준의 다양성을 강제한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 MDC 프레임워크는 이미지 맥락을 활용해 구조적으로 유사하면서도 특징이 다양한 다수의 기술을 생성할 수 있는가?
• RQ2 SSIM과 기술 거리 손실을 병합함으로써 생성된 기술의 품질과 다양성은 어떻게 향상되는가?
• RQ3 제안된 MDRN 아키텍처는 단일 또는 이중 기술 수신 조건에서 복원 품질을 얼마나 향상시키는가?
• RQ4 가상 코덱 네트워크를 통한 엔드 투 엔드 훈련이 기존 MDC 방법과 비교해 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 방법은 대부분의 비트레이트 영역에서 PSNR 및 SSIM 향상을 크게 확보하며, 특히 고비트레이트에서 기존 기준 방법(MDB1a–MDB4a 및 MDB1b–MDB4b)을 뛰어넘는 성능을 보였다.
• 측면 복원 품질은 모든 8개의 기준 방법보다 뛰어나며, MDB1a–MDB4a 및 MDB1b–MDB4b가 비교된 방법들 중에서 가장 우수한 성능를 보였다.
• 중앙 복원 성능은 모든 기준 방법 중에서 가장 뛰어나며, MDB3a 및 MDB3b가 가장 높은 PSNR를 기록했고, MDB1a–MDB3a 역시 매우 유사한 성능를 보였다.
• 시각적 비교 결과, 제안된 방법은 압축 후에도 중요한 이미지 세부 정보와 핵심 특징을 더 잘 유지함을 확인했다. 다중 위상 하향 샘플링 기준 방법과 비교해 뚜렷한 우수성을 보였다.
• 이 방법은 기술 간 주목할 만한 특징를 효과적으로 보호하여, 압축 잡음에도 불구하고 핵심 이미지 콘텐츠가 손상되지 않도록 보장한다.
• 저비트레이트에서 구조적 거리 손실과 해상도 감소를 활용한 성능 향상이 가능함을 확인했으며, 향후 개선을 통해 저비트레이트 복원 성능을 더욱 향상시킬 수 있음을 시사한다.