[논문 리뷰] Compression of phase-only holograms with JPEG standard and deep learning

Shuming Jiao, Zhi Jin외 4명|arXiv (Cornell University)|2018. 06. 11.

Advanced Optical Imaging Technologies참고 문헌 35인용 수 3

한 줄 요약

이 논문은 디지털 허브로의 고해상도 단일 위상 허브로의 효율적 압축을 위해 JPEG 표준과 딥러닝을 융합한 하이브리드 압축 프레임워크를 제안한다. JPEG 압축으로 인해 발생하는 잔상들을 딥 컨volution 뉴럴 네트워크를 통해 복원함으로써, 널리 보급된 JPEG 인프라와의 호환성을 유지하면서도 고품질의 허브 재구성 성능을 달성한다. 이는 표준 JPEG 압축 방식에 비해 시각적 정밀도가 크게 향상된다.

ABSTRACT

It is a critical issue to reduce the enormous amount of data in the processing, storage and transmission of a hologram in digital format. In photograph compression, the JPEG standard is commonly supported by almost every system and device. It will be favorable if JPEG standard is applicable to hologram compression, with advantages of universal compatibility. However, the reconstructed image from a JPEG compressed hologram suffers from severe quality degradation since some high frequency features in the hologram will be lost during the compression process. In this work, we employ a deep convolutional neural network to reduce the artifacts in a JPEG compressed hologram. Simulation and experimental results reveal that our proposed "JPEG + deep learning" hologram compression scheme can achieve satisfactory reconstruction results for a computer-generated phase-only hologram after compression.

연구 동기 및 목표

• 디지털 허브, 특히 컴퓨터 생성 단일 위상 허브에서 발생하는 높은 데이터 볼륨 문제를 해결하기 위해.
• 허브 압축을 위해 널리 사용되는 JPEG 표준을 적응시켜 보편적 호환성을 확보하기 위해.
• 허브 데이터의 손실 압축으로 인한 심각한 이미지 품질 열화 문제를 완화하기 위해.
• JPEG 압축 이후 재구성된 허브 품질을 향상시키기 위한 딥러닝 기반 복원 방법을 개발하기 위해.
• 'JPEG + 딥러닝' 파이프라인의 실용적 허브 압축 가능성과 효과성을 입증하기 위해.

제안 방법

• 단일 위상 허브에 표준 JPEG 압축 알고리즘을 적용하여 데이터 크기를 감소시키기 위해.
• JPEG로 압축된 허브에서 발생하는 압축 잔상들을 학습하고 제거하기 위해 딥 컨volution 뉴럴 네트워크(CNN)를 사용하기 위해.
• 원본 및 JPEG로 압축된 허브 쌍을 기반으로, 압축된 이미지에서 고품질 재구성 이미지로의 매핑을 학습하기 위해 CNN을 훈련시키기 위해.
• 종단 간 특징 학습과 잔상 억제를 위해 U-Net 유사 아키텍처를 사용하기 위해.
• 재구성된 이미지와 원본 허브 강도 패턴 간의 차이를 최소화하는 손실 함수를 사용하여 네트워크 최적화하기 위해.
• JPEG 압축 후 이미지 품질 복원을 위한 후처리 단계로 딥러닝 모델을 통합하기 위해.

실험 결과

연구 질문

• RQ1 고주파 성분을 포함하고 있는 허브 데이터에 대해 JPEG 표준이 단일 위상 허브 압축에 효과적으로 적용될 수 있는가?
• RQ2 JPEG 압축이 재구성된 허브 이미지의 품질에 얼마나 심각하게 악영향을 미치는가?
• RQ3 딥러닝 모델이 허브 압축 후 시각적 품질을 효과적으로 복원할 수 있는가?
• RQ4 재구성 정밀도 측면에서 제안된 'JPEG + 딥러닝' 파이프라인은 JPEG 전용 압축 방식에 비해 어떻게 비교되는가?
• RQ5 제안된 방법은 JPEG를 위한 기존 시스템 및 인프라와 호환되는가?

주요 결과

• 제안된 'JPEG + 딥러닝' 방법은 JPEG로 압축된 단일 위상 허브에서의 시각적 잔상 요소를 크게 감소시킨다.
• 시뮬레이션 및 실험 결과는 딥러닝 모델이 JPEG 압축 과정에서 손실된 고주파 특징들을 효과적으로 복원함을 확인한다.
• JPEG 전용 압축 대비 인지적으로 열등한 재구성 품질을 달성하며, 신호 대 잡음비와 구조 유사도 지수가 향상된다.
• 기존 JPEG 인프라와의 호환성을 유지함으로써 광범위한 구현 가능성을 확보한다.
• 딥러닝 모듈은 허브 강도 패턴 내 미세한 디테일과 질감을 효과적으로 재구성하는 데 성공한다.
• 다양한 허브 시나리오와 압축 비율에 걸쳐도 프레임워크가 뛰어난 성능을 유지함을 입증한다.