[論文レビュー] GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models

Liang Chen, Wenguan Wang+2 more|arXiv (Cornell University)|Oct 5, 2022

Domain Adaptation and Few-Shot Learning被引用数 61

ひとこと要約

GMMSegは、クラス条件付き特徴密度をガウス混合モデルでモデル化することで、意味セグメンテーションの密な生成分類器を導入します。オンライン Sinkhorn EM で訓練しつつ、特徴抽出器は識別的に学習します。

ABSTRACT

Prevalent semantic segmentation solutions are, in essence, a dense discriminative classifier of p(class|pixel feature). Though straightforward, this de facto paradigm neglects the underlying data distribution p(pixel feature|class), and struggles to identify out-of-distribution data. Going beyond this, we propose GMMSeg, a new family of segmentation models that rely on a dense generative classifier for the joint distribution p(pixel feature,class). For each class, GMMSeg builds Gaussian Mixture Models (GMMs) via Expectation-Maximization (EM), so as to capture class-conditional densities. Meanwhile, the deep dense representation is end-to-end trained in a discriminative manner, i.e., maximizing p(class|pixel feature). This endows GMMSeg with the strengths of both generative and discriminative models. With a variety of segmentation architectures and backbones, GMMSeg outperforms the discriminative counterparts on three closed-set datasets. More impressively, without any modification, GMMSeg even performs well on open-world datasets. We believe this work brings fundamental insights into the related fields.

研究の動機と目的

• データ分布を捉えるために、ピクセル特徴からクラスを条件とする p(x|c) をモデル化して、識別的な p(class|pixel feature) を超える動機付け。
• 各クラスに対して p(x|c) をモデル化するガウス混合モデル（GMM）ベースの分類器を開発する。
• GMM を生成的に最適化しつつ識別的な特徴抽出機を共同訓練することで、エンドツーエンド学習を可能にする。
• アーキテクチャ変更なしで、クローズドセットデータセット全体のセグメンテーション性能を向上させ、オープンワールド異常セグメンテーションを可能にする。
• 生成的密度モデリングと識別的表現学習を結びつける原理的なフレームワークを提供する。

提案手法

• 各クラスごとに p(x|c) をクラスあたり M 個の成分をもつガウス混合モデルとしてモデル化する。
• 訓練中にオンラインで各クラス c の GMM パラメータ φ_c を推定するため、Sinkhorn ベースの再形成を用いた EM を用いる。
• 計算量を削減するため、対角共分散でクラス密度を表現する。
• GMM 評価前に 1x1 畳み込みでピクセル特徴を D=64 に圧縮する。
• GMM から派生した p(c|x) を最大化して識別的に特徴抽出器 f_theta を訓練しつつ、EM による φ_c のパラメータをモメンタム法（τ=0.999）で更新する。
• バッチを跨ぐ大規模 EM を支える外部メモリ/特徴キューを利用する。

実験結果

リサーチクエスチョン

• RQ1 従来の識別的ソフトマックス分類器を超える、生成的なクラス条件付き密度モデルはセグメンテーションを改善できるか。
• RQ2 オンライン EM ベースの GMM 最適化をエンドツーエンドの識別的特徴学習と統合すると、クローズドセットデータセットで頑健な性能が得られるか。
• RQ3 GMMSeg はアーキテクチャや訓練プロトコルを変更せずに、オープンワールドおよび異常セグメンテーションを扱えるか。
• RQ4 クラスごとに多成分のガウス混合が、単峰の単一ガウスや純粋な識別モデルと比較してセグメンテーションタスクでどのような差を生むか。

主な発見

• GMMSeg は複数のアーキテクチャとバックボーンに跨る3つのクローズドセットデータセットで、ソフトマックスベースの識別的手法を上回る。
• アーキテクチャ変更や追加のキャリブレーションなしで、意味のある異常/オープンワールド性能を達成する。
• ハイブリッドな訓練スキームにより、ADE20K、Cityscapes、COCO-Stuff データセットでそれぞれ mIoU が 0.6–1.7 ポイント向上（要約に記載されている）。
• p(x|c) の明示的なモデリングにより、分布外や異常入力に対する密度ベースの指標を自然に提供する。
• GMMSeg はさまざまな現代的セグメンテーションアーキテクチャ（DeepLabV3+、OCRNet、UperNet、SegFormer）およびバックボーン（ResNet、HRNet、Swin、MiT）と互換性がある。