[論文レビュー] PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation

Yi Liu, Lutao Chu+5 more|arXiv (Cornell University)|Jan 15, 2021

Advanced Neural Network Applications参考文献 47被引用数 60

ひとこと要約

PaddleSeg は PaddlePaddle 上に構築されたエンドツーエンドのモジュール式ツールキットで、約20のセグメンテーションモデルと50以上の事前学習済みモデルをサポートし、データ準備、モデル設計、訓練、最適化、デプロイ、実世界の応用と、ベンチマーク済みの精度を提供します。

ABSTRACT

Image Segmentation plays an essential role in computer vision and image processing with various applications from medical diagnosis to autonomous car driving. A lot of segmentation algorithms have been proposed for addressing specific problems. In recent years, the success of deep learning techniques has tremendously influenced a wide range of computer vision areas, and the modern approaches of image segmentation based on deep learning are becoming prevalent. In this article, we introduce a high-efficient development toolkit for image segmentation, named PaddleSeg. The toolkit aims to help both developers and researchers in the whole process of designing segmentation models, training models, optimizing performance and inference speed, and deploying models. Currently, PaddleSeg supports around 20 popular segmentation models and more than 50 pre-trained models from real-time and high-accuracy levels. With modular components and backbone networks, users can easily build over one hundred models for different requirements. Furthermore, we provide comprehensive benchmarks and evaluations to show that these segmentation algorithms trained on our toolkit have more competitive accuracy. Also, we provide various real industrial applications and practical cases based on PaddleSeg. All codes and examples of PaddleSeg are available at https://github.com/PaddlePaddle/PaddleSeg.

研究の動機と目的

• 画像分割のエンドツーエンドで高効率な開発ツールキットを提供する。
• セグメンテーションモデルの設計・訓練・デプロイを容易にするモジュラーなフレームワークを提供する。
• 産業界と学術界向けに高品質なモデルと豊富な事前学習済みウェイトの広範なセットを提供する。
• PaddleSegを既存実装と比較して精度向上を示すベンチマークを行う。
• 実用的な現実世界のセグメンテーションアプリケーションとチュートリアルを紹介する。

提案手法

• 高性能な訓練とデプロイを活用するために PaddlePaddle 上で構築。
• 5つのコンポーネントマネージャー（モデル、バックボーン、損失、変換、データセット）を備えたモジュール設計。
• トレーニング最適化を組み込み（マルチプロセスデータ読み込み、マルチGPUのバッチ正規化同期、混合精度など）。
• 使用を簡素化するために YAML でのグローバル設定とファインチューニングモードを提供。
• PaddleSlim、Paddle Inference、ONNX Exporter、Paddle Lite を統合してモデル圧縮、デプロイ、クロスデバイス実行を実現。
• 高品質なセグメンテーション戦略（スキップ接続、膨張畳み込み、グローバルコンテキスト、アテンション、強力なバックボーン）と蒸留（SSLD）を実装。
• Cityscapes および PASCAL VOC 2012 で標準化された訓練設定を用いてモデルを評価し、詳細なログと VisualDL の可視化を提供。

実験結果

リサーチクエスチョン

• RQ1 PaddleSeg は設計・訓練・デプロイを含むエンドツーエンドの能力をどの程度備えているのか。
• RQ2 PaddleSeg に実装されたモデルとバックボーンは、他の実装と比較して標準的なベンチマークでどの程度の性能を示すのか。
• RQ3 蒸留およびアテンション/コンテキスト戦略の統合がセグメンテーション精度に与える影響はどの程度か。
• RQ4 PaddleSeg のモジュール設計は、さまざまなデプロイメントシナリオに対して高精度あるいはリアルタイムのセグメンテーションモデルを迅速に構築できるか。

主な発見

• PaddleSeg は、リアルタイムと高精度のニーズに対応する約20の高品質モデルと50以上の事前学習ウェイトを提供します。
• Cityscapes の検証では、いくつかのモデルが他の実装の対応モデルより高い mIoU を達成し、顕著な改善が見られる（例: OCRNet および DeepLabV3+ の派生版）。
• Pascal VOC val で、PaddleSeg のモデルは他者の同様のバックボーン/モデルを一貫して上回り、複数の手法で数ポイント以上の利得が見られる。
• 強力なバックボーン（例：HRNet系）とアテンションおよびコンテキストモジュールを組み合わせると、CityscapesとVOCの比較で競争力のあるまたは優れた精度を発揮します。
• ツールキットのモジュール設計により、オフ・ザ・シェルフの部品から高精度モデルを構築でき、再現性のための包括的な訓練ログ、事前学習済みウェイト、VisualDL の可視化を提供します。
• PaddleSeg は欠陥検知、人間のセグメンテーション、土地のセグメンテーション、車線検出など、実用的な産業・研究アプリケーションを実証し、詳細なチュートリアルを提供します。