[论文解读] Learning to Inpaint for Image Compression
本文提出了一种新颖的深度学习方法，用于有损图像压缩，采用'残差到图像'（R2I）和基于图像修复的架构。通过训练模型从残差中重建原始图像内容，并利用邻近块的多尺度图像修复技术，与基线残差编码器相比，文件大小最多减少60.4%，在无需熵编码的情况下实现了具有竞争力的性能。
We study the design of deep architectures for lossy image compression. We present two architectural recipes in the context of multi-stage progressive encoders and empirically demonstrate their importance on compression performance. Specifically, we show that: (a) predicting the original image data from residuals in a multi-stage progressive architecture facilitates learning and leads to improved performance at approximating the original content and (b) learning to inpaint (from neighboring image pixels) before performing compression reduces the amount of information that must be stored to achieve a high-quality approximation. Incorporating these design choices in a baseline progressive encoder yields an average reduction of over $60\%$ in file size with similar quality compared to the original residual encoder.
研究动机与目标
- 通过解决多阶段残差编码器中的梯度消失问题，改进基于深度学习的渐进式图像压缩。
- 通过利用图像块之间的空间一致性，减少高质量图像重建所需的比特率。
- 设计一种联合学习框架，结合图像修复与压缩以提升性能。
- 证明端到端联合训练图像修复与压缩网络，可生成比独立训练更紧凑的表示。
提出的方法
- 提出一种残差到图像（R2I）架构，其中每个阶段从残差中预测原始图像，提升训练稳定性和优化效果。
- 在各阶段之间引入跳跃连接，使后续层能够访问早期阶段重建的内容，增强特征学习能力。
- 采用多尺度卷积，从邻近图像区域采样上下文信息，以提升图像修复性能。
- 将图像修复网络与压缩模型联合训练，使用相同的潜在表示，确保生成紧凑且低熵的编码。
- 将标准的残差输入/残差输出损失替换为残差输入/图像输出目标，以稳定训练并提升重建质量。
- 在推理过程中采用对角线扫描模式，以保持高并行性，并避免因内容依赖导致的性能瓶颈。
实验结果
研究问题
- RQ1与标准残差编码相比，训练渐进式编码器从残差中预测原始图像（R2I）是否能提升压缩性能？
- RQ2从邻近图像块学习图像修复，是否能减少为实现高质量重建所需存储的信息量？
- RQ3将图像修复网络与压缩模型联合训练，是否能生成更紧凑高效的表示？
- RQ4在不使用熵编码的情况下，该方法与传统编解码器及先前的深度学习方法相比，在率失真性能上表现如何？
- RQ5如跳跃连接和多尺度上下文建模等架构选择，对压缩效率和训练稳定性有何影响？
主要发现
- 与基线残差编码器相比，R2I架构将文件大小减少了18.53%，证明了优化和重建质量的提升。
- 将图像修复网络与R2I模型联合训练，比特率额外降低42%，与原始残差编码器相比总减少达60.4%。
- 即使仅使用6.5K张训练图像，IR2I模型的表现仍优于残差-GRU模型，而后者使用了600万张图像并训练了10倍时间。
- 即使不使用熵编码，IR2I模型的率失真性能仍可与JPEG-2000和WebP等传统编解码器媲美，后者依赖高级后处理技术。
- 通过采用对角线扫描模式，该方法在解码过程中保持了实际的推理速度，最小化了内容依赖，确保了高并行性。
- 该方法在扩展至视频压缩方面展现出巨大潜力，其中空间与时间一致性可带来更大的性能增益。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。