[論文レビュー] MaX-DeepLab: End-to-End Panoptic Segmentation with Mask Transformers

Huiyu Wang, Yukun Zhu+3 more|arXiv (Cornell University)|Dec 1, 2020

Advanced Neural Network Applications参考文献 98被引用数 32

ひとこと要約

MaX-DeepLabは、マスクトランスフォーマーとデュアルパス CNN+メモリアーキテクチャを用いてクラスラベル付きマスクを直接予測する初のエンドツーエンドのパンオプティックセグメンテーションモデルであり、テスト時拡張なしでCOCOにおける最先端のPQを達成する。

ABSTRACT

We present MaX-DeepLab, the first end-to-end model for panoptic segmentation. Our approach simplifies the current pipeline that depends heavily on surrogate sub-tasks and hand-designed components, such as box detection, non-maximum suppression, thing-stuff merging, etc. Although these sub-tasks are tackled by area experts, they fail to comprehensively solve the target task. By contrast, our MaX-DeepLab directly predicts class-labeled masks with a mask transformer, and is trained with a panoptic quality inspired loss via bipartite matching. Our mask transformer employs a dual-path architecture that introduces a global memory path in addition to a CNN path, allowing direct communication with any CNN layers. As a result, MaX-DeepLab shows a significant 7.1% PQ gain in the box-free regime on the challenging COCO dataset, closing the gap between box-based and box-free methods for the first time. A small variant of MaX-DeepLab improves 3.0% PQ over DETR with similar parameters and M-Adds. Furthermore, MaX-DeepLab, without test time augmentation, achieves new state-of-the-art 51.3% PQ on COCO test-dev set. Code is available at https://github.com/google-research/deeplab2.

研究の動機と目的

• アンカー、ボックス、NMSなどの手作りプリオリティを避けたエンドツーエンドのパンオプティックセグメンテーション手法を動機づける。
• クラスラベル付きマスクの集合を直接予測し、PQに触発された二部対称マッチング損失で最適化する。
• CNN層とグローバルメモリ通信を可能にするデュアルパス変換器を導入する。
• エンドツーマスク予測がCOCOでボックスベースとボックスフリーの手法間のギャップを埋めることを示す。

提案手法

• 各画像に対してクラスラベル付きマスクの固定サイズ集合とその確率を直接予測する。
• 予測マスクとグラウンドトゥースマスクの一対一の二部対照マッチングに基づくPQスタイルの損失で訓練する。
• CNNピクセル経路と1Dグローバルメモリ経路を結合するデュアルパス変換器を導入し、四つのアテンションモード（M2P、M2M、P2M、P2P）を可能にする。
• スタックド・アワーグラス風デコーダを用いて多段階特徴を統合しマスク予測を形成する。
• 補助損失には、ピクセルごとのインスタンス識別、マスクIDクロスエントロピー、意味セグメンテーション損失などが含まれ、訓練を助ける。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのモデルはボックスやセンターなどの代替サブタスクを使わずにパンオプティックマスクを直接予測できるか。
• RQ2 二部対称マッチングを介してPQスタイルの目的関数を最適化することは、ボックスベースまたはボックスフリーの手法と比較してパンオプティックセグメンテーションの性能を向上させるか。
• RQ3 デュアルパス変換器はCNNの特徴とグローバルメモリを効果的に統合し、マスク予測の品質を向上させるか。
• RQ4 デコーダ深度、入力解像度、アテンションタイプがCOCOでのPQおよび関連指標に与える影響はどの程度か。
• RQ5 補助損失（インスタンス識別、マスクIDクロスエントロピー、意味セグメンテーション）は測定可能な利得をもたらすか。

主な発見

• MaX-DeepLabは、test-devなしでCOCOにおける最先端のPQを達成（大規模モデルで51.3% PQ）。
• ボックスフリー領域で、MaX-DeepLabはAxial-DeepLabを7.1% PQ上回り、強条件下でボックスベースのDetectoRSを上回り、ボックスベースとボックスフリー手法間のギャップを埋める。
• 軽量版（MaX-DeepLab-S）は、同程度のパラメータ数でvalで3.3% PQ、test-devで3.0% PQの性能を上回る。
• デュアルパス変換器はCNN特徴とグローバルメモリの形成および複数解像度での通信を可能にし、マスク予測を改善する。
• 補助損失、特にピクセルごとのインスタンス識別とマスクID予測は、PQスタイル損失と組み合わせると顕著なPQの利得を生む。