[論文レビュー] Panoptic SegFormer: Delving Deeper into Panoptic Segmentation with Transformers

Zhiqi Li, Wenhai Wang+6 more|arXiv (Cornell University)|Sep 8, 2021

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

Panoptic SegFormerは、収束の高速化とマスク品質の向上を図る深層教師付きマスクデコーダー、マスクごとの後処理手法、およびマスク品質と分類信頼度を統合的に考慮する新しい後処理戦略を備えたトランスフォーマー基盤のパノプティックセグメンテーションフレームワークを提示する。この手法はCOCO test-devで56.2%のPQを達成し、従来のモデルと比較して顕著に少ないパラメータ数で最先端の性能を実現した。

ABSTRACT

Panoptic segmentation involves a combination of joint semantic segmentation and instance segmentation, where image contents are divided into two types: things and stuff. We present Panoptic SegFormer, a general framework for panoptic segmentation with transformers. It contains three innovative components: an efficient deeply-supervised mask decoder, a query decoupling strategy, and an improved post-processing method. We also use Deformable DETR to efficiently process multi-scale features, which is a fast and efficient version of DETR. Specifically, we supervise the attention modules in the mask decoder in a layer-wise manner. This deep supervision strategy lets the attention modules quickly focus on meaningful semantic regions. It improves performance and reduces the number of required training epochs by half compared to Deformable DETR. Our query decoupling strategy decouples the responsibilities of the query set and avoids mutual interference between things and stuff. In addition, our post-processing strategy improves performance without additional costs by jointly considering classification and segmentation qualities to resolve conflicting mask overlaps. Our approach increases the accuracy 6.2\% PQ over the baseline DETR model. Panoptic SegFormer achieves state-of-the-art results on COCO test-dev with 56.2\% PQ. It also shows stronger zero-shot robustness over existing methods. The code is released at \url{https://github.com/zhiqi-li/Panoptic-SegFormer}.

研究の動機と目的

• DETRにおけるパノプティックセグメンテーションの限界、特に収束が遅い、マスクの精度が低い、および「もの」と「素材」の処理が最適でない点を是正すること。
• マスクデコーダー内のアテンションモジュールに対する深層教師付き学習を用いて、トランスフォーマー基盤のパノプティックセグメンテーションにおけるマスク品質と学習効率を向上させること。
• 「もの」と「素材」のクエリセットを分離することで、相互干渉を低減し、各カテゴリータイプに特化した処理を可能にすること。
• 分類信頼度とマスクIoU品質を統合的に評価するマスク単位の後処理を導入し、標準的なピクセル単位のargmaxを置き換えることで、誤検出を低減すること。
• より少ないパラメータ数で最先端の性能を達成するとともに、ゼロショット一般化性能を向上させること。

提案手法

• アテンションモジュールにレイヤーワイズの教師信号を適用する深層教師付きマスクデコーダーを採用し、収束を加速させるとともに、アテンション表現の品質を向上させる。
• クエリセットを「もの」用クエリ（位置デコーダーを経由）と「素材」用クエリ（直接処理）に分離するクエリ分離戦略を採用し、カテゴリ間干渉を最小限に抑える。
• 分類確率とマスクIoU品質の両方を評価して重ね合わせ予測を解消するマスク単位のマージ後処理手法を採用し、標準的なピクセル単位のargmaxを置き換える。
• 計算コストを低減しつつマルチスケール特徴を効率的に処理できるように、マスクデコーダーに可変アテンション機構を統合する。
• 「もの」と「素材」の両方に共通の損失ヘッドを採用し、バイパーティットマッチングをサポートするため「もの」クエリに追加の検出損失を適用する。
• 効率的な特徴抽出とマルチスケール表現学習を実現するため、Deformable DETRをバックボーンとして採用する。

実験結果

リサーチクエスチョン

• RQ1 マスクデコーダー内のアテンションモジュールに対する深層教師付き学習は、トランスフォーマー基盤のパノプティックセグメンテーションにおけるマスク品質の向上と学習収束の高速化に寄与するか？
• RQ2 「もの」と「素材」のクエリを分離することで、相互干渉が低減され、特に形状のない「素材」領域のセグメンテーション精度が向上するか？
• RQ3 分類とセグメンテーション品質を統合的に考慮するマスク単位の後処理戦略は、標準的なピクセル単位のargmaxを上回り、誤検出を低減できるか？
• RQ4 共通部品を有する統一されたトランスフォーマー枠組みは、より少ないパラメータ数で従来手法を上回るパノプティックセグメンテーション性能を達成できるか？
• RQ5 提案手法は、既存手法と比較してゼロショット一般化性能に優れているか？

主な発見

• Panoptic SegFormerはCOCO test-devで56.2%のPQを達成し、従来のモデルと比較して顕著に少ないパラメータ数で最先端の性能を実現した。
• ベースラインのDETRと比較してPQが6.2%向上し、提案された構成要素による顕著な向上が確認された。
• クエリ分離戦略により、統合マッチングと比較してPQが2.9%向上し、分離設定では「素材」の精度が0.66（統合設定では高優先度クエリで0.30）に上昇した。
• 後処理手法単体でもDETRと比較してPQが1.3%向上し、品質に配慮したマージ戦略の有効性が示された。
• Swin-Lバックボーンを用いて24エポック学習した結果、50エポックよりも優れた性能を達成した。これは深層教師付き学習による収束の高速化を示している。
• 既存手法と比較して、より優れたゼロショット一般化性能を示し、一般化能力の向上が確認された。