[论文解读] DeepLab2: A TensorFlow Library for Deep Labeling

Mark Weber, Huiyu Wang+13 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Neural Network Applications参考文献 74被引用 34

一句话总结

DeepLab2 是一个 TensorFlow 2.x 库，用于密集像素标注，包含最先进的 DeepLab 变体、训练/评估代码，以及预训练检查点，以重现并推进密集预测任务。

ABSTRACT

DeepLab2 is a TensorFlow library for deep labeling, aiming to provide a state-of-the-art and easy-to-use TensorFlow codebase for general dense pixel prediction problems in computer vision. DeepLab2 includes all our recently developed DeepLab model variants with pretrained checkpoints as well as model training and evaluation code, allowing the community to reproduce and further improve upon the state-of-art systems. To showcase the effectiveness of DeepLab2, our Panoptic-DeepLab employing Axial-SWideRNet as network backbone achieves 68.0% PQ or 83.5% mIoU on Cityscaspes validation set, with only single-scale inference and ImageNet-1K pretrained checkpoints. We hope that publicly sharing our library could facilitate future research on dense pixel labeling tasks and envision new applications of this technology. Code is made publicly available at \url{https://github.com/google-research/deeplab2}.

研究动机与目标

• 提供一个统一、易于使用的 TensorFlow 代码库，用于通用密集像素标注任务。
• 复现并促进最先进深度标注模型的改进。
• 提供预训练检查点及训练/评估管道，以促进研究与应用。

提出的方法

• 在 TensorFlow2 中重新实现具有空洞卷积和 ASPP 的 DeepLab 变体，以实现多尺度上下文。
• 纳入 Panoptic-DeepLab、Axial-DeepLab、MaX-DeepLab、Motion-DeepLab 和 ViP-DeepLab 架构。
• 支持多样的骨干网络，包括 MobileNetv3、ResNet、SWideRNet、Axial-ResNet 和 MaX-DeepLab 骨干网络。
• 提供带有预训练检查点的模型库，以实现可重复性和对比。
• 训练期间包括 AutoAugment 风格的色彩抖动的数据增强。

实验结果

研究问题

• RQ1 一个统一的 TensorFlow2 库是否能够高效地支持多种密集像素标注任务（语义、实例、全景、深度、视频全景）并使用最先进的骨干网？
• RQ2 使用提供的 DeepLab2 模型和骨干网，在标准基准（如 Cityscapes）上可以实现哪些性能提升？
• RQ3 在单尺度推理模式下，Axial-ResNet 系列和 MaX-DeepLab 骨干网络配置是否能够提供具有竞争力的全景分割结果？

主要发现

• Panoptic-DeepLab 与 Axial-SWideRNet 骨干在 Cityscapes 验证集上实现单尺度推理、ImageNet-1K 检查点时，达到 68.0% PQ 或 83.5% mIoU。
• 该库包含众多模型变体（DeepLab、Panoptic-DeepLab、Axial-DeepLab、MaX-DeepLab、Motion-DeepLab、ViP-DeepLab）并带有预训练检查点和训练/评估代码。
• DeepLab2 提供通用的 Axial-Block 设计，集成卷积和类 Transformer 的注意力模块，便于灵活的网络构建。
• 全面的骨干网络支持（MobileNetv3、ResNet 变体、SWideRNet、Axial-ResNet、MaX-DeepLab 骨干）实现广泛的性能/效率权衡。
• 代码和模型库公开可用，以促进可重复性和进一步的研究。