[논문 리뷰] DeepLab2: A TensorFlow Library for Deep Labeling

Mark Weber, Huiyu Wang외 13명|arXiv (Cornell University)|2021. 06. 17.

Advanced Neural Network Applications참고 문헌 74인용 수 34

한 줄 요약

DeepLab2는 Dense 픽셀 레이블링을 위한 TensorFlow 2.x 라이브러리로, 최첨단 DeepLab 변형들, 학습/평가 코드, 그리고 재현과 Dense 예측 작업의 발전을 위한 사전 학습된 체크포인트를 포함한다.

ABSTRACT

DeepLab2 is a TensorFlow library for deep labeling, aiming to provide a state-of-the-art and easy-to-use TensorFlow codebase for general dense pixel prediction problems in computer vision. DeepLab2 includes all our recently developed DeepLab model variants with pretrained checkpoints as well as model training and evaluation code, allowing the community to reproduce and further improve upon the state-of-art systems. To showcase the effectiveness of DeepLab2, our Panoptic-DeepLab employing Axial-SWideRNet as network backbone achieves 68.0% PQ or 83.5% mIoU on Cityscaspes validation set, with only single-scale inference and ImageNet-1K pretrained checkpoints. We hope that publicly sharing our library could facilitate future research on dense pixel labeling tasks and envision new applications of this technology. Code is made publicly available at \url{https://github.com/google-research/deeplab2}.

연구 동기 및 목표

• 일반적인 dense 픽셀 레이블링 작업을 위한 통합적이고 사용하기 쉬운 TensorFlow 코드베이스를 제공한다.
• 최첨단 딥 라벨링 모델의 재현과 개선을 가능하게 한다.
• 연구 및 응용을 촉진하기 위한 사전 학습 체크포인트와 학습/평가 파이프라인을 제공한다.

제안 방법

• 다중 스케일 컨텍스트를 위한 atrous 컨볼루션과 ASPP를 갖춘 DeepLab 변형의 TensorFlow2에서의 재구현.
• Panoptic-DeepLab, Axial-DeepLab, MaX-DeepLab, Motion-DeepLab, ViP-DeepLab 아키텍처의 포함.
• MobileNetv3, ResNet, SWideRNet, Axial-ResNet, MaX-DeepLab 백본 등 다양한 백본을 지원.
• 재현성과 비교를 위한 사전 학습 체크포인트를 갖춘 모델 Zoo 제공.
• 훈련 중 AutoAugment 스타일의 색상 변동(color jittering)을 포함한 데이터 증강.

실험 결과

연구 질문

• RQ1 단일 TensorFlow2 라이브러리가 최첨단 백본으로 다수의 dense 픽셀 라벨링 작업(시맨틱, 인스턴스, 파노픽, 깊이, 비디오 파노픽)을 효과적으로 지원할 수 있는가?
• RQ2 제공된 DeepLab2 모델과 백본을 사용하여 표준 벤치마크(예: Cityscapes)에서 달성할 수 있는 성능 향상은 무엇인가?
• RQ3 Axial-ResNet 계열과 MaX-DeepLab 백본 구성은 단일 스케일 추론 조건에서 경쟁력 있는 파노픽 분할 결과를 제공하는가?

주요 결과

• Axial-SWideRNet 백본을 사용하는 Panoptic-DeepLab은 단일 스케일 추론과 ImageNet-1K 체크포인트 조건에서 Cityscapes 검증 세트에서 68.0% PQ 또는 83.5% mIoU를 달성한다.
• 라이브러리는 사전 학습 체크포인트 및 학습/평가 코드와 함께 여러 모델 변형(DeepLab, Panoptic-DeepLab, Axial-DeepLab, MaX-DeepLab, Motion-DeepLab, ViP-DeepLab)을 포함한다.
• DeepLab2는 컨볼루션과 트랜스포머 유사 어텐션 모듈을 통합한 일반적인 Axial-Block 설계를 제공하여 유연한 네트워크 구성을 가능하게 한다.
• MobileNetv3, ResNet 변형, SWideRNet, Axial-ResNet, MaX-DeepLab 백본 등 광범위한 백본 지원은 성능과 효율성 간의 다양한 트레이드오프를 가능하게 한다.
• 코드와 모델 Zoo는 재현성과 추가 연구를 촉진하기 위해 공개되어 있다.