[論文レビュー] DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback

David Burth Kurka, Denız Gündüz|arXiv (Cornell University)|Nov 25, 2019

Speech and Audio Processing参考文献 51被引用数 8

ひとこと要約

本稿では、ノイズありまたはノイズなしのチャネル出力フィードバックを活用して再構築品質を向上させる、画像伝送のための新しい深層学習ベースの共同ソースチャネル符号化（JSCC）方式であるDeepJSCC-fを提案する。マルチレイヤー伝送とフィードバック駆動型の最適化を備えたオートエンコーダーを用いることで、分離型方式や最先端のコーデックと比較して、特に低SNRおよび有限ブロック長領域において優れた性能を達成する。

ABSTRACT

We consider wireless transmission of images in the presence of channel output feedback. From a Shannon theoretic perspective feedback does not improve the asymptotic end-to-end performance, and separate source coding followed by capacity-achieving channel coding, which ignores the feedback signal, achieves the optimal performance. It is well known that separation is not optimal in the practical finite blocklength regime; however, there are no known practical joint source-channel coding (JSCC) schemes that can exploit the feedback signal and surpass the performance of separation-based schemes. Inspired by the recent success of deep learning methods for JSCC, we investigate how noiseless or noisy channel output feedback can be incorporated into the transmission system to improve the reconstruction quality at the receiver. We introduce an autoencoder-based JSCC scheme, which we call DeepJSCC-f, that exploits the channel output feedback, and provides considerable improvements in terms of the end-to-end reconstruction quality for fixed-length transmission, or in terms of the average delay for variable-length transmission. To the best of our knowledge, this is the first practical JSCC scheme that can fully exploit channel output feedback, demonstrating yet another setting in which modern machine learning techniques can enable the design of new and efficient communication methods that surpass the performance of traditional structured coding-based designs.

研究の動機と目的

• 理論的には容量に依存しないが、実用的には有益である、チャネル出力フィードバックを活用する実用的な共同ソースチャネル符号化（JSCC）方式の設計。
• 分離が最適でない有限ブロック長領域における、従来の分離型通信システムの限界を克服すること。
• フィードバックを用いてチャネル状態に動的に適応する深層学習ベースの通信システムの開発により、滑らかな劣化と可変レート伝送を実現すること。
• エンドツーエンドでトレーニング可能なオートエンコーダー構造において、フィードバックを効果的に活用し、従来の符号化方式を上回る画像伝送を実現すること。
• 提案手法の一般化能力を、さまざまなデータセット（例：CIFAR-10、ImageNet、Kodak）およびチャネル状態（フェージング、低SNR環境など）において検証すること。

提案手法

• エンコーダーとデコーダーがフィードバックを介して前の伝送状態を受信しながら、エンドツーエンドで共同してトレーニングされるオートエンコーダーに基づくアーキテクチャを採用する。
• 伝送は複数のレイヤーで行われる：最初のレイヤーで基本的な再構築が行われ、以降のレイヤーで前の受信状態からのフィードバックを用いて画像が精緻化される。
• ノイズありまたはノイズなしのフィードバック信号が、エンコーダーにより次のレイヤーでの残差情報の伝送を適応的に調整するために使用される。
• デコーダーはコンビナトリアルネットワークを用いて、基本レイヤーの再構築と精緻化されたレイヤーを統合し、全体的な画像品質を向上させる。
• モデルは完全に畳み込み型であり、教師なしでトレーニングされる。残差の明示的減算は行われず、入力と過去の再構築から残差が暗黙的に学習される。
• ターゲット品質やチャネル状態に応じてレイヤー数を動的に調整することで、可変長伝送をサポートする。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのJSCC方式は、実用的で有限ブロック長の設定において、チャネル出力フィードバックを効果的に活用して画像再構築品質を向上させることができるか？
• RQ2 エンドツーエンドでトレーニング可能なオートエンコーダー型JSCCシステムにおいて、フィードバックは分離型設計と比較して性能にどのように影響を与えるか？
• RQ3 DeepJSCC-fは、再トレーニングなしで、さまざまなデータセット（例：CIFAR-10、ImageNet、Kodak）および画像サイズにどの程度一般化可能か？
• RQ4 フィードバック機構により、平均遅延を低減しつつ、ターゲット品質を維持する可変レート伝送が実現可能か？
• RQ5 同じ条件下で、DeepJSCC-fの性能は、BPG や JPEG2000 などの最先端の画像コーデックに、LDPC や Polar などの高度なチャネル符号化を組み合わせたものと比較してどうか？

主な発見

• DeepJSCC-fは、低レート伝送（k/n = 1/6）および1 dBという低SNR環境下でも、分離型方式と比較して顕著に高いPSNR、SSIM、MS-SSIMを達成する。
• さまざまなチャネル状態下で滑らかな劣化を示し、ノイズの強いフィードバック環境下でも、人間が許容できる画像品質を維持する。
• Kodakデータセットでは、標準コーデックおよび理想の容量到達チャネル符号化方式を上回る再構築品質を示し、特に低SNR領域で顕著な優位性を示す。
• フィードバックの活用により、画像品質を段階的に精緻化するマルチレイヤー伝送戦略が可能となり、可変長伝送における平均遅延が低減される。
• ImageNetで学習したモデルは、768×512などの大きな高解像度画像に対しても良好に一般化され、多様な画像コンテンツおよびサイズにわたり高いロバスト性を示す。
• オートエンコーダーは、明示的な減算なしにフィードバックを通じて残差表現を暗黙的に学習し、アーキテクチャの変更なしに効率的で適応的な精緻化を実現する。