[論文レビュー] K-Net: Towards Unified Image Segmentation

Wenwei Zhang, Jiangmiao Pang+2 more|arXiv (Cornell University)|Jun 28, 2021

Advanced Neural Network Applications参考文献 66被引用数 197

ひとこと要約

K-Netはセマンティック、インスタンス、パノプティック分割を、画像ごとに動的に更新される学習可能なグループカーネルで統合し、bipartiteマッチングを介してend-to-endで学習され、NMSとボックスフリーを実現しつつ最先端の単一モデル結果を達成します。

ABSTRACT

Semantic, instance, and panoptic segmentations have been addressed using different and specialized frameworks despite their underlying connections. This paper presents a unified, simple, and effective framework for these essentially similar tasks. The framework, named K-Net, segments both instances and semantic categories consistently by a group of learnable kernels, where each kernel is responsible for generating a mask for either a potential instance or a stuff class. To remedy the difficulties of distinguishing various instances, we propose a kernel update strategy that enables each kernel dynamic and conditional on its meaningful group in the input image. K-Net can be trained in an end-to-end manner with bipartite matching, and its training and inference are naturally NMS-free and box-free. Without bells and whistles, K-Net surpasses all previous published state-of-the-art single-model results of panoptic segmentation on MS COCO test-dev split and semantic segmentation on ADE20K val split with 55.2% PQ and 54.3% mIoU, respectively. Its instance segmentation performance is also on par with Cascade Mask R-CNN on MS COCO with 60%-90% faster inference speeds. Code and models will be released at https://github.com/ZwwWayne/K-Net/.

研究の動機と目的

• セマンティック、インスタンス、パノプティック分割を共通のカーネルベースの枠組みに統合する動機づけ。
• 変化するオブジェクトインスタンスを扱うためのダイナミックでグループ認識的なカーネル更新機構を提案。
• bounding boxやNMSを使わず、二部探索マッチングでエンドツーエンドにインスタンスカーネルを学習させる。
• 標準ベンチマークで、統一カーネルベースのアプローチがパノプティック、インスタンス、セマンティック分割の性能を向上させることを示す。

提案手法

• segmentation targetsを、潜在的なインスタンスまたはセマンティッククラスのいずれか1つのマスクを予測する固定セットN個のカーネルとして表現する。
• 現在の予測から組み立てられたグループ特徴を用いて、形状と内容が適応的にカーネルを更新するカーネル更新ヘッドを導入する。
• 適応的な特徴とカーネルの相互作用とゲーティングを用いて、S回の反復でカーネルとマスクを洗練させる。
• カーネル間の多頭注意を適用して文脈的相互作用を許し、更新されたカーネルから最終マスクを導出する。
• インスタンスカーネルはマスク駆動型のエンドツーエンドのHungarian割り当て（ボックスなし、NMSなし）で訓練する。
• 同じカーネルフレームワークをパノプティックまたはセマンティック分割に適用する場合は、インスタンスカーネルとセマンティックカーネルを適切に組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 1つのカーネルベースの枠組みでセマンティック、インスタンス、パノプティック分割を解決できるか。
• RQ2 コンテンツに適応的なカーネルをどう作るか、異なる形状とスケールのインスタンスを信頼性高く分離するには。
• RQ3 ボックスやNMSに依存せず、Hungarian割り当てによるエンドツーエンド訓練がインスタンスカーネルにとって実現可能か。
• RQ4 K-Netを用いるとCOCOでパノプティック/インスタンス、ADE20Kでセマンティック分割の性能がどう向上するか。

主な発見

Framework	Backbone	Box-free	NMS-free	Epochs	PQ	PQ Th	PQ St
Panoptic-DeepLab	Xception-71			>~1000	39.7	43.9	33.2
Panoptic FPN	R50-FPN			36	41.5	48.5	31.1
SOLOv2	R50-FPN	✓		36	42.1	49.6	30.7
DETR	R50		✓	300+25	43.4	48.2	36.3
Unifying	R50-FPN			~27	43.4	48.6	35.5
Panoptic FCN	R50-FPN			36	43.6	49.3	35.0
K-Net	R50-FPN	✓	✓	36	47.1	51.7	40.3
K-Net	R101-FPN	✓	✓	36	49.6	55.1	41.4
R101-FPN-DCN	✓	✓	36	48.3	54.0	39.7
Swin-L	✓	✓	36	54.6	60.2	46.0

• COCO valで47.1 PQ (R50-FPN) および Swin-Lで54.6 PQという単一モデルの最先端パノプティック分割を達成、従来手法を上回る。
• ベースラインアーキテクチャと組み合わせた場合にADE20K valで54.3 mIoUのセマンティック分割を達成し、タスク横断的な利益を示唆。
• ボックスなし・NMSなしでのインスタンス分割結果はCascade Mask R-CNNと競合し、推論速度は大幅に速くなる（例: COCOでK-Net-N256は19.8 FPS、Cascadeは10.3 FPS）。
• グループ特徴組み立てと適応ゲーティングを備えたカーネル更新ヘッドはAPを大幅に改善（例: 表4は基線18.2から全コンポーネント適用で34.7へ上昇）。
• 100個のインスタンスカーネルでCOCO性能を十分に引き出せ、カーネル更新回数（約3回）を超えると性能が飽和する。
• K-Netは訓練エポック数36で、ボックスベース・カーネルベースのいくつかのベースラインを上回り、控えめな計算資源で堅牢な性能を提供する。