[論文レビュー] DeeperLab: Single-Shot Image Parser

Tien-Ju Yang, Maxwell D. Collins+7 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Neural Network Applications参考文献 101被引用数 162

ひとこと要約

DeeperLabは、パンオプティック分割のための単一ショット・ボトムアップの画像パーサーを提供し、1回の処理でセマンティックとインスタンスラベルを共同で予測し、地域認識型のParsing Covering指標と強力なMapillary Vistasの結果を特徴とします。

ABSTRACT

We present a single-shot, bottom-up approach for whole image parsing. Whole image parsing, also known as Panoptic Segmentation, generalizes the tasks of semantic segmentation for 'stuff' classes and instance segmentation for 'thing' classes, assigning both semantic and instance labels to every pixel in an image. Recent approaches to whole image parsing typically employ separate standalone modules for the constituent semantic and instance segmentation tasks and require multiple passes of inference. Instead, the proposed DeeperLab image parser performs whole image parsing with a significantly simpler, fully convolutional approach that jointly addresses the semantic and instance segmentation tasks in a single-shot manner, resulting in a streamlined system that better lends itself to fast processing. For quantitative evaluation, we use both the instance-based Panoptic Quality (PQ) metric and the proposed region-based Parsing Covering (PC) metric, which better captures the image parsing quality on 'stuff' classes and larger object instances. We report experimental results on the challenging Mapillary Vistas dataset, in which our single model achieves 31.95% (val) / 31.6% PQ (test) and 55.26% PC (val) with 3 frames per second (fps) on GPU or near real-time speed (22.6 fps on GPU) with reduced accuracy.

研究の動機と目的

• セマンティックとインスタンス分割を統合した、全画像の効率的なパーシング（パンオプティック分割）を動機づける。
• 速度と単純さのために、セマンティックヘッドとインスタンスヘッド間で特徴を共有する単一パスのボトムアップアーキテクチャを提案する。
• 高解像度入力向けにメモリ使用量を削減し受容野を改善する設計戦略を導入する。
• パンオプティック品質（PQ）の領域ベースの代替指標としてParsing Covering（PC）指標を提案する。
• Mapillary Vistasデータセットで最新の性能-速度のトレードオフを示す。

提案手法

• 深さ別畳み込みを用いた共有エンコーダ-デコーダバックボーンと、より大きなカーネルとASPPによる強い受容野を使用する。
• 共通デコーダ出力に接続された5つのヘッドを介して、画素ごとのセマンティックラベルとクラス非依存のインスタンス手掛かりを予測する。
• アップサンプリング時のメモリ管理のために space-to-depth および depth-to-space 操作を採用する。
• トレーニング時に難易度の高いピクセルと小さなインスタンスを強調するため、ハードピクセルマイニングと加重損失を使用する。
• セマンティックとインスタンス予測を、パンオプティックパーシング結果を生成するための、単純で高速な最終融合ステップで結合する。

実験結果

リサーチクエスチョン

• RQ1 単一ショット、ボトムアップのネットワークは、全画像のパーシングのためにセマンティックおよびインスタンス分割を効率的に同時に生成できるのか？
• RQ2 アーキテクチャの選択（カーネルサイズ、デコーダ設計、ASPP、メモリ管理）が、高解像度の街路シーンデータにおける精度と速度にどのように影響するか？
• RQ3 Parsing Covering のような領域ベースの指標は、画像パーシングにおいて Panoptic Quality に対して補完的な洞察を提供するのか？
• RQ4 Mapillary Vistas における異なるバックボーン（Xception-71 対 Wider MobileNetV2）の精度とスループットのトレードオフはどのようになるか？

主な発見

• Xception-71バックボーンは、Mapillary Vistas の検証セットで 31.95% PQ および 55.26% PC を GPU で 3.09 fps で達成。
• ASPP 付きの Wider MobileNetV2 は、GPU で 6.19 fps、25.20% PQ、49.80% PC に到達し、全体的な速度が速い。
• ダウンサンプリング入力の Light Wider MobileNetV2 は、近リアルタイム速度（GPUで22.61 fps）を達成するが、精度低下がある。
• space-to-depth および depth-to-space、より大きなカーネル、より深い予測ヘッドを用いたデコーダ設計は、PQ/PCをベースラインより大幅に改善する。
• Hard pixel mining と小さいインスタンスの損失重み付けの増加は、PQ/PCの測定可能な向上をもたらす（例：PQ 最大24.99%、PC 最大49.23%）。
• 本論はまた、地域ベースのパーシング品質指標として Parsing Covering (PC) を提案し、補足資料で Cityscapes、Pascal VOC 2012、および COCO の結果を報告している。