[论文解读] Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds

Zihao Liu, Xiaowei Xu+8 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Data Compression Techniques参考文献 45被引用 11

一句话总结

本文提出了一种基于机器视觉引导的3D医学图像压缩框架，其优化目标为基于深度学习的分割准确率，而非人眼视觉质量。通过利用训练好的分割网络中的特征重要性，该方法选择性地保留了人类视觉优化方法（如JPEG-2000）所忽略的关键高频细节，在HVSMR 2016数据集上实现了相同分割准确率下高达3倍的压缩率，或在相同压缩水平下显著提升的分割准确率。

ABSTRACT

Cloud based medical image analysis has become popular recently due to the high computation complexities of various deep neural network (DNN) based frameworks and the increasingly large volume of medical images that need to be processed. It has been demonstrated that for medical images the transmission from local to clouds is much more expensive than the computation in the clouds itself. Towards this, 3D image compression techniques have been widely applied to reduce the data traffic. However, most of the existing image compression techniques are developed around human vision, i.e., they are designed to minimize distortions that can be perceived by human eyes. In this paper we will use deep learning based medical image segmentation as a vehicle and demonstrate that interestingly, machine and human view the compression quality differently. Medical images compressed with good quality w.r.t. human vision may result in inferior segmentation accuracy. We then design a machine vision oriented 3D image compression framework tailored for segmentation using DNNs. Our method automatically extracts and retains image features that are most important to the segmentation. Comprehensive experiments on widely adopted segmentation frameworks with HVSMR 2016 challenge dataset show that our method can achieve significantly higher segmentation accuracy at the same compression rate, or much better compression rate under the same segmentation accuracy, when compared with the existing JPEG 2000 method. To the best of the authors' knowledge, this is the first machine vision guided medical image compression framework for segmentation in the clouds.

研究动机与目标

• 为解决云基深度学习流水线中医学图像传输的瓶颈问题，其中传输时间常超过云处理时间。
• 探究人类视觉优化的压缩方法（如JPEG-2000）是否在基于深度神经网络（DNN）的医学图像分割任务中表现次优。
• 开发一种轻量级、针对DNN优化的压缩框架，优先保留对分割至关重要的特征，而非感知质量。
• 证明在医学分割任务中，机器视觉与人类视觉对图像质量的需求存在根本性差异。

提出的方法

• 该框架在3D-JPEG 2000基础上扩展了两项轻量级操作：16个子带的方差计算，以及求解四元方程组（公式4），以优先保留关键的频率分量。
• 利用预训练的DNN（如DenseVoxNet或3D-DSN）识别并保留对分割准确率最关键的图像特征。
• 通过分析分割输出对子带能量变化的敏感性，计算特征重要性，重点关注定义组织边界的高频分量。
• 压缩过程选择性地保留这些高影响特征，同时丢弃不相关的信息，有效过滤噪声和无关内容。
• 该框架复用了JPEG-2000的大部分计算单元，确保开销极低——压缩与解压缩时间与标准JPEG-2000相当（例如，每张512×512图像约0.12ms）。
• 该方法端到端可训练，并可无缝集成到现有的云基医学图像分析流水线中。

实验结果

研究问题

• RQ1 即使在保持高感知质量的前提下，人类视觉优化的压缩方法（如JPEG-2000）是否仍会降低分割准确率？
• RQ2 在医学图像分割任务中，人类视觉与机器视觉对特征需求有何本质差异？
• RQ3 能否设计一种压缩框架，仅保留对DNN分割最核心的特征，从而同时提升准确率与压缩效率？
• RQ4 此类基于机器视觉引导的方法在压缩率与分割准确率方面，相较于传统JPEG-2000可实现多大程度的超越？

主要发现

• 在30×压缩率下，所提方法在心肌分割任务中实现了0.834的平均Dice分数，与原始（未压缩）图像性能相当，而JPEG-2000仅达到0.821。
• 在相同30×压缩率下，所提方法在心肌与血池分割任务中的Dice分数分别优于JPEG-2000 0.013和0.007。
• 在相同分割准确率（Dice分数为0.834）下，所提方法实现了平均30×的压缩率，是JPEG-2000压缩率的3倍。
• 在某些情况下，使用所提方法压缩图像进行分割的准确率甚至超过原始图像，这是由于有效过滤了噪声和无关特征。
• 在300MB图像与22.79 Mbps上传速度假设下，所提方法将图像传输与分割的总服务时间从JPEG-2000的1.4秒减少至0.53秒，缩短了2.6倍。
• 该框架引入的计算开销可忽略不计，压缩与解压缩时间与标准JPEG-2000相当（例如，每张512×512图像约0.12ms）。