[논문 리뷰] DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback

David Burth Kurka, Denız Gündüz|arXiv (Cornell University)|2019. 11. 25.

Speech and Audio Processing참고 문헌 51인용 수 8

한 줄 요약

이 논문은 노이즈가 있는 또는 노이즈가 없는 채널 출력 피드백을 활용하여 재구성 품질을 향상시키는 새로운 딥러닝 기반의 이미지 전송을 위한 연합 소스-채널 부호화(JSCC) 기법인 DeepJSCC-f를 제안한다. 다층 전송 및 피드백 기반 정밀 조정을 갖춘 오토에인코드르 사용함으로써, 특히 저SNR 및 유한 블록길이 영역에서 분리 기반 설계 및 최신 코덱보다 뛰어난 성능을 달성한다.

ABSTRACT

We consider wireless transmission of images in the presence of channel output feedback. From a Shannon theoretic perspective feedback does not improve the asymptotic end-to-end performance, and separate source coding followed by capacity-achieving channel coding, which ignores the feedback signal, achieves the optimal performance. It is well known that separation is not optimal in the practical finite blocklength regime; however, there are no known practical joint source-channel coding (JSCC) schemes that can exploit the feedback signal and surpass the performance of separation-based schemes. Inspired by the recent success of deep learning methods for JSCC, we investigate how noiseless or noisy channel output feedback can be incorporated into the transmission system to improve the reconstruction quality at the receiver. We introduce an autoencoder-based JSCC scheme, which we call DeepJSCC-f, that exploits the channel output feedback, and provides considerable improvements in terms of the end-to-end reconstruction quality for fixed-length transmission, or in terms of the average delay for variable-length transmission. To the best of our knowledge, this is the first practical JSCC scheme that can fully exploit channel output feedback, demonstrating yet another setting in which modern machine learning techniques can enable the design of new and efficient communication methods that surpass the performance of traditional structured coding-based designs.

연구 동기 및 목표

• 이론적으로 용량에 의존하지 않지만 실질적으로 유용한 채널 출력 피드백을 활용하는 실용적인 연합 소스-채널 부호화(JSCC) 기법을 설계하는 것.
• 분리 기반 통신 시스템의 한계를 극복하여, 분리가 최적성이 아닌 유한 블록길이 영역에서의 성능을 향상시키는 것.
• 피드백을 활용해 채널 상태에 동적으로 적응하는 딥러닝 기반의 통신 시스템을 개발하여, 부드러운 품질 저하와 가변 비트레이트 전송을 가능하게 하는 것.
• 종단간 훈련 가능한 오토에인코드 아키텍처에서 피드백을 효과적으로 활용하여 기존의 코딩 설계를 뛰어넘는 이미지 전송 성능을 달성하는 것.
• 다양한 데이터셋과 채널 조건(예: fading, 저SNR 환경)에 걸쳐 제안된 방법의 일반화 능력을 검증하는 것.

제안 방법

• 기존 전송의 피드백을 포함한 종단간 공동 훈련을 수행하는 오토에인코드 기반 아키텍처를 사용한다.
• 전송은 다층으로 이루어지며, 첫 번째 레이어는 기본 재구성 이미지를 전송하고, 이후 레이어들은 이전 수신 결과의 피드백을 이용해 이미지를 정밀 조정한다.
• 노이즈 없는 또는 노이즈가 있는 피드백 신호는 인코더가 이후 레이어에서 잔차 정보의 전송을 적응적으로 조정하는 데 사용된다.
• 디코더는 병합 네트워크를 사용하여 기본 레이어 재구성과 정밀 조정된 레이어를 융합하여 전체 이미지 품질을 향상시킨다.
• 모델은 완전히 컨볼루션 기반이며, 잔차의 명시적 빼기 없이 입력과 이전 재구성 결과로부터 은닉적으로 잔차를 학습한다.
• 목표 품질나 채널 조건에 따라 레이어 수를 동적으로 조정함으로써 가변 길이 전송을 지원한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 JSCC 설계가 실용적이고 유한 블록길이 환경에서 채널 출력 피드백을 효과적으로 활용하여 이미지 재구성 품질을 향상시킬 수 있는가?
• RQ2 종단간 훈련 가능한 오토에인코드 기반 JSCC 시스템에서 피드백은 분리 기반 설계 대비 성능에 어떤 영향을 미치는가?
• RQ3 DeepJSCC-f는 재학습 없이도 다양한 데이터셋(CIFAR-10, ImageNet, Kodak 등)과 이미지 크기에서 얼마나 잘 일반화되는가?
• RQ4 피드백 메커니즘이 평균 지연을 줄이고 목표 품질을 유지하면서도 동적으로 가변 비트레이트 전송을 가능하게 하는가?
• RQ5 동일한 조건에서 DeepJSCC-f의 성능은 BPG, JPEG2000 등의 최신 이미지 코덱과 LDPC, 펄스 등 고급 채널 코드를 조합한 설계와 비교해 어떻게 되는가?

주요 결과

• DeepJSCC-f는 저비트레이트 전송(k/n = 1/6)과 1 dB의 낮은 SNR에서도 분리 기반 설계보다 유의미하게 높은 PSNR, SSIM, MS-SSIM 성능을 달성한다.
• 다양한 채널 조건에서 부드러운 품질 저하를 보이며, 노이즈가 있는 피드백 환경에서도 시각적으로 만족스러운 이미지 품질을 유지한다.
• Kodak 데이터셋에서 DeepJSCC-f는 표준 코덱과 이상적인 용량 달성 채널 코드 모두를 뛰어넘는 재구성 품질을 보이며, 특히 저SNR 영역에서 뛰어난 성능을 나타낸다.
• 피드백을 활용한 다층 전송 전략은 점진적으로 이미지 품질을 향상시키며, 가변 길이 전송의 평균 지연을 감소시킨다.
• ImageNet에서 훈련된 모델은 768×512와 같은 더 큰 고해상도 이미지에 대해서도 잘 일반화되며, 다양한 이미지 콘텐츠와 크기에 대해 강건함을 보인다.
• 오토에인코드는 명시적 빼기 없이 피드백을 통해 잔차 표현을 은닉적으로 학습함으로써, 아키텍처 수정 없이도 효율적이고 적응형 정밀 조정을 가능하게 한다.