[论文解读] Efficient High-Resolution Deep Learning: A Survey

Arian Bakhtiarnia, Qi Zhang+1 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Image Processing Techniques被引用 7

一句话总结

本综述全面概述了高效高分辨率深度学习方法，聚焦于在保持大规模视觉任务准确性的前提下降低计算成本和内存使用的技术。它对各类方法进行分类，如局部空间网络、基于标记化的方法和频域网络，突出其设计原则，并在医学影像、遥感和监控等领域的应用，同时提供一份精心整理的高分辨率数据集列表。

ABSTRACT

Cameras in modern devices such as smartphones, satellites and medical equipment are capable of capturing very high resolution images and videos. Such high-resolution data often need to be processed by deep learning models for cancer detection, automated road navigation, weather prediction, surveillance, optimizing agricultural processes and many other applications. Using high-resolution images and videos as direct inputs for deep learning models creates many challenges due to their high number of parameters, computation cost, inference latency and GPU memory consumption. Simple approaches such as resizing the images to a lower resolution are common in the literature, however, they typically significantly decrease accuracy. Several works in the literature propose better alternatives in order to deal with the challenges of high-resolution data and improve accuracy and speed while complying with hardware limitations and time restrictions. This survey describes such efficient high-resolution deep learning methods, summarizes real-world applications of high-resolution deep learning, and provides comprehensive information about available high-resolution datasets.

研究动机与目标

• 为应对深度学习中处理高分辨率图像和视频带来的高计算成本、高内存消耗和高推理延迟等日益严峻的挑战。
• 识别并分类专为高分辨率输入设计的高效深度学习技术，尤其适用于资源受限环境。
• 总结最先进的方法，包括局部空间网络、视觉变换器和频域方法，用于高分辨率处理。
• 整理并审查涵盖组织病理学、遥感和人群计数等领域的现有高分辨率数据集。
• 指出开放的研究方向，包括与模型压缩、边缘计算和多模态学习的结合。

提出的方法

• 将高效高分辨率深度学习方法分为四大主要类别：局部空间网络（LSNs）、基于标记化的方法（TOIC）、频域网络和混合架构。
• 分析LSN如何通过在小而重叠的图像块上处理来减少计算和内存使用，特别适用于吉像素图像。
• 研究TOIC方法，其利用任务特定的压缩表示（如基于图或注意力机制）来减小输入尺寸，同时保留任务相关特征。
• 回顾频域方法，其将图像转换为频谱表示（如DCT），以实现CNN或ViT的高效处理。
• 讨论架构优化，如深度可分离卷积、多尺度特征提取以及注意力机制的重构，以降低视觉变换器中的二次方复杂度。
• 提出与边缘计算和拆分推理的集成，即在设备上使用轻量级模型，将紧凑特征传输至服务器以完成最终预测。

实验结果

研究问题

• RQ1 如何在不牺牲准确性的前提下，使深度学习模型对高分辨率输入更高效？
• RQ2 在不同视觉任务中处理吉像素图像时，架构和计算之间的关键权衡是什么？
• RQ3 在密集预测任务中，局部空间网络与基于标记化的方法在效率和准确性方面如何比较？
• RQ4 频域表示在实现高分辨率数据高效处理中起到什么作用？
• RQ5 如何将高效高分辨率深度学习与边缘计算和模型压缩相结合，以实现实用化部署？

主要发现

• 高分辨率输入会导致FLOPs和内存使用量呈二次方增长，尤其在视觉变换器中，由于自注意力机制的影响更为显著。
• 局部空间网络（LSNs）通过处理小而重叠的图像块来减少计算量，适用于全切片成像和遥感等应用。
• 基于标记化的方法（TOIC），如Slide Graph和MCAT，通过利用领域知识学习任务特定的压缩表示，实现了高效率。
• 频域网络，如CS-Fnet，通过将CNN和ViTs适配到频谱表示，展现出巨大潜力，可能减少计算和内存使用。
• 通过线性化注意力机制和深度可分离卷积，视觉变换器可实现高效化，从而支持高分辨率数据的可扩展处理。
• 将高效高分辨率方法与边缘计算和拆分推理相结合，可在资源受限设备（如无人机和智能手机）上实现实际部署。