[論文レビュー] Per-Pixel Classification is Not All You Need for Semantic Segmentation

Bowen Cheng, Alexander G. Schwing+1 more|arXiv (Cornell University)|Jul 13, 2021

Advanced Neural Network Applications参考文献 50被引用数 167

ひとこと要約

この論文は MaskFormer を紹介する。マスク分類モデルは単一のアーキテクチャ、損失、訓練手順でセマンティックおよびインスタンスレベルのセグメンテーションを統合し、クラス語彙が大きいデータセットでピクセルごとのベースラインを上回る。

ABSTRACT

Modern approaches typically formulate semantic segmentation as a per-pixel classification task, while instance-level segmentation is handled with an alternative mask classification. Our key insight: mask classification is sufficiently general to solve both semantic- and instance-level segmentation tasks in a unified manner using the exact same model, loss, and training procedure. Following this observation, we propose MaskFormer, a simple mask classification model which predicts a set of binary masks, each associated with a single global class label prediction. Overall, the proposed mask classification-based method simplifies the landscape of effective approaches to semantic and panoptic segmentation tasks and shows excellent empirical results. In particular, we observe that MaskFormer outperforms per-pixel classification baselines when the number of classes is large. Our mask classification-based method outperforms both current state-of-the-art semantic (55.6 mIoU on ADE20K) and panoptic segmentation (52.7 PQ on COCO) models.

研究の動機と目的

• ピクセル単位の分類を超える統一的なセグメンテーションのパラダイムを提案する。
• 同じ訓練設定でセマンティックとインスタンスレベルのセグメンテーションを扱えるシンプルなマスク分類モデル（MaskFormer）を提案する。
• クラス数が増えるにつれてマスク分類がピクセルベースのベースラインより優れていることを示す。
• MaskFormer でADE20K（セマンティック）および COCO パノプティックデータセット（パノプティック）で最先端の結果を示す。
• 既存のピクセル分類バックボーンを活用できる効率的で柔軟なアーキテクチャを提供する。）

提案手法

• セマンティックセグメンテーションを、各クラスに対応する二値マスクのセットを予測するマスク分類として定式化する。
• トランスフォーマー デコーダを用いて N 個のセグメント埋め込みを生成する；セグメンテーションヘッドがクラススコアを出力し、MLP が N 個のマスク埋め込みを生成。
• ピクセル埋め込みとマスク埋め込みのドット積の後にシグモイドを適用して二値マスクを計算する；タスクに応じてマスクを結合または集約する。
• 共有マスク分類損失（クロスエントロピー分類損失と二値マスク損失（フォーカル + ダイス）を組み合わせたもの）で訓練する。
• 任意に変化するマスク数を予測するために二部最適化マッチングを利用することもあり、予測をグラウンドトゥルースのセグメントと整合させる。
• 最良のマッチングマスク分類ペアにピクセルを割り当て、意味的/パノプティック出力の後処理を行って推論する。

実験結果

リサーチクエスチョン

• RQ1 単一のマスク分類モデルはセマンティックセグメンテーションのピクセル分類を置換できるか？
• RQ2 MaskFormer は同じモデル・損失・訓練パイプラインで意味的およびインスタンスレベル（パノプティック）のセグメンテーションを統一できるか？
• RQ3 クラス数が増えるとマスク分類はピクセルベースのベースラインと比べてどうなるか？
• RQ4 MaskFormer で双方向マッチングと固定マッチングの使用の影響は？
• RQ5 ADE20K、COCO-Stuff、Cityscapes などの多様なデータセットに適用する際の精度と効率のトレードオフは？

主な発見

• MaskFormer は語彙数が大きいデータセット（例: ADE20K-Full の 847 クラス）でピクセル分類のベースラインを上回る。
• MaskFormer は ADE20K の意味セグメンテーションで最先端を達成（mIoU 55.6、Backbone Swin-Transformer）
• MaskFormer は COCO のパノプティックセグメンテーションで最先端（52.7 PQ）
• MaskFormer は重い補助損失なしで DETR 風マスク手法と同等以上を達成、より簡便な損失を使用。
• MaskFormer は大規模クラス語彙データセットで認識品質（RQ）が向上し、ピクセルレベルのセグメンテーション品質（SQ）にはいくつかのトレードオフ。
• 方法はパラメータと FLOPs を一部のピクセルベースのベースラインより削減し、特にクラス数が増えるにつれて精度を向上させる。）