[논문 리뷰] PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation

Yi Liu, Lutao Chu외 5명|arXiv (Cornell University)|2021. 01. 15.

Advanced Neural Network Applications참고 문헌 47인용 수 60

한 줄 요약

PaddleSeg는 PaddlePaddle에 기반한 엔드-투-엔드, 모듈식 도구상자로 약 ~20개 세그멘테이션 모델과 50개 이상 pretrained 모델을 지원하며, 데이터 준비, 모델 설계, 학습, 최적화, 배포 및 벤치마크된 정확도와 함께 실제 응용을 제공합니다.

ABSTRACT

Image Segmentation plays an essential role in computer vision and image processing with various applications from medical diagnosis to autonomous car driving. A lot of segmentation algorithms have been proposed for addressing specific problems. In recent years, the success of deep learning techniques has tremendously influenced a wide range of computer vision areas, and the modern approaches of image segmentation based on deep learning are becoming prevalent. In this article, we introduce a high-efficient development toolkit for image segmentation, named PaddleSeg. The toolkit aims to help both developers and researchers in the whole process of designing segmentation models, training models, optimizing performance and inference speed, and deploying models. Currently, PaddleSeg supports around 20 popular segmentation models and more than 50 pre-trained models from real-time and high-accuracy levels. With modular components and backbone networks, users can easily build over one hundred models for different requirements. Furthermore, we provide comprehensive benchmarks and evaluations to show that these segmentation algorithms trained on our toolkit have more competitive accuracy. Also, we provide various real industrial applications and practical cases based on PaddleSeg. All codes and examples of PaddleSeg are available at https://github.com/PaddlePaddle/PaddleSeg.

연구 동기 및 목표

• 이미지 분할을 위한 엔드-투-엔드, 고효율 개발 도구키트를 제공합니다.
• 분할 모델의 설계, 학습 및 배포를 쉽게 할 수 있는 모듈식 프레임워크를 제공합니다.
• 산업계와 학계에 고품질 모델과 pretrained 가중치의 широк한 세트를 제공합니다.
• PaddleSeg를 기존 구현과 벤치마킹하여 정확도 향상을 입증합니다.
• 실용적이고 실제 세계의 분할 응용 및 튜토리얼을 선보입니다.

제안 방법

• 고성능 학습 및 배포를 활용하기 위해 PaddlePaddle 위에 구축되었습니다.
• 다섯 가지 구성 요소 관리자로 모듈식 설계(모델, 백본, 손실, 변환, 데이터셋).
• 다중 프로세스 데이터 로딩, 다중 GPU 배치 정규화 동기화, 혼합 정밀도 등 학습 최적화를 포함합니다.
• 사용 편의를 위한 YAML을 통한 글로벌 구성 및 미세 튜닝 모드를 제공합니다.
• 모델 압축, 배포 및 교차 디바이스 실행을 위한 PaddleSlim, Paddle Inference, ONNX Exporter, Paddle Lite를 통합.
• 고품질 세그멘테이션 전략(스킵 연결, 확장된 합성곱, 전역 맥락, 주의/어텐션, 강력한 백본) 및 증류(SSLD)를 구현합니다.
• 표준화된 학습 설정으로 Cityscapes와 PASCAL VOC 2012에서 모델을 평가하고 자세한 로그 및 VisualDL 시각화를 제공합니다.

실험 결과

연구 질문

• RQ1 PaddleSeg의 설계, 학습 및 배포를 위한 엔드-투-엔드 능력은 어느 정도인가?
• RQ2 PaddleSeg에 구현된 모델과 백본은 다른 구현과 비교할 때 표준 벤치마크에서 어떤 성능을 보이나?
• RQ3 증류 및 주의/맥락 전략의 통합이 분할 정밀도에 어떤 영향을 미치는가?
• RQ4 PaddleSeg의 모듈식 설계가 다양한 배포 시나리오에 대해 고정밀도 또는 실시간 분할 모델의 신속한 구성을 가능하게 하는가?

주요 결과

• PaddleSeg는 실제 시간 및 고정밀도 요구에 맞춘 약 20개의 고품질 모델과 50개 이상의 pretrained 가중치를 제공합니다.
• Cityscapes 검증에서 여러 모델이 다른 구현의 대응 모델들보다 더 높은 mIoU를 달성하며 주목할 만한 이득을 보입니다(예: OCRNet 및 DeepLabV3+ 변형).
• Pascal VOC val에서 PaddleSeg 모델은 다른 유사 백본/모델들보다 지속적으로 우수한 성능을 보이며 여러 방법에서 몇 포인트의 이득을 제공합니다.
• 강력한 백본(예: HRNet 변형)과 주의 및 맥락 모듈의 결합은 Cityscapes와 VOC의 비교에서 경쟁력이 있거나 우수한 정확도를 보여줍니다.
• 이 툴킷의 모듈식 설계는 즉시 사용 가능한 구성요소로부터 고정밀도 모델을 구축할 수 있게 하며 재현성을 위한 포괄적 학습 로그, pretrained 가중치 및 VisualDL 시각화를 제공합니다.
• PaddleSeg는 결함 탐지, 사람 분할, 토지 분할, 차선 인식 등 실용적인 산업 및 연구 응용을 시연하며 상세한 튜토리얼을 제공합니다.