[論文レビュー] Conterfactual Generative Zero-Shot Semantic Segmentation

Feihong Shen, Jun Liu+1 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 7

ひとこと要約

本論文は、因果関係をモデル化することで誤った統計的相関を避けることで、学習済みクラスと未学習クラスの間のバイアスを低減する、ゼロショットセマンティックセグメンテーションの反事後的生成フレームワークを提案する。反事後的特徴を生成し、因果的訓練戦略を適用することで、未学習クラスでmIoUが24%向上、学習済みクラスで19%向上し、ベースライン生成モデルを上回る性能を発揮するとともに、GCNなどの補助構造とも互換性を保つ。

ABSTRACT

zero-shot learning is an essential part of computer vision. As a classical downstream task, zero-shot semantic segmentation has been studied because of its applicant value. One of the popular zero-shot semantic segmentation methods is based on the generative model Most new proposed works added structures on the same architecture to enhance this model. However, we found that, from the view of causal inference, the result of the original model has been influenced by spurious statistical relationships. Thus the performance of the prediction shows severe bias. In this work, we consider counterfactual methods to avoid the confounder in the original model. Based on this method, we proposed a new framework for zero-shot semantic segmentation. Our model is compared with baseline models on two real-world datasets, Pascal-VOC and Pascal-Context. The experiment results show proposed models can surpass previous confounded models and can still make use of additional structures to improve the performance. We also design a simple structure based on Graph Convolutional Networks (GCN) in this work.

研究の動機と目的

• 生成モデルにおけるゼロショットセマンティックセグメンテーションで生じる学習済みクラスと未学習クラスの間の顕著な性能の不均衡を是正すること。
• 予測を学習済みクラスの特徴にバイアスさせる誤った統計的相関を軽減すること。
• 既存の生成モデルのコアアーキテクチャを変更せずに、一般化性能を向上させる因果に基づく訓練戦略を開発すること。
• GCNなどの補助構造と互換性があることを示し、性能向上をさらに促進すること。
• 従来のモデルにおける構造的改善が性能を向上させる理由を理論的に説明すること。

提案手法

• 本手法は、実際の特徴分布と生成された特徴分布を操作することで反事後的特徴を生成する反事後的推論フレームワークを導入する。
• 実際の特徴と生成された特徴の分類を別々の分類器で行い、独立した最適化を可能にする。
• 深層ネットワークが生成特徴と反事後的特徴をより正確な分布へ再配置するオフセット方向を学習する。
• 訓練戦略として、特徴生成における交絡要因の影響を低減するための因果的補正を適用する。
• ZS3Netなどの既存の生成モデルと互換性があり、Graph Convolutional Networks (GCNs) などの補助構造へも拡張可能である。
• 生成特徴と反事後的特徴を真の未学習クラス特徴分布に一致させるためのグローバル最適化目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 学習済みクラスの特徴と単語埋め込みの間の誤った統計的関係が引き起こすゼロショットセマンティックセグメンテーションモデルのバイアスをどのように低減できるか？
• RQ2 反事後的推論は、学習済みクラスの性能を低下させることなく、未学習クラスにおける生成モデルの一般化性能を向上させることができるか？
• RQ3 従来モデルにおける構造的改善（例：GCN）が性能を向上させる理由は何か？そして、これを因果的に説明できるか？
• RQ4 因果に基づく訓練戦略は、既存のモデルアーキテクチャからどれほど独立して実装可能であり、互換性を保つか？
• RQ5 本手法は、学習済みクラスおよび未学習クラスにおけるmIoUの観点から、ベースライン生成モデルと定量的にどのように比較されるか？

主な発見

• 提案された反事後的訓練戦略により、Pascal-VOCおよびPascal-Contextデータセット上での元のZS3Netモデルと比較して、未学習クラスでmIoUが24%向上、学習済みクラスで19%向上した。
• 誤った相関が引き起こす分布シフトを是正することで、学習済みクラスと未学習クラスの性能の不均衡が効果的に低減された。
• GCNベースの構造を統合したことで、その構造を備えないモデルと比較して全体のmIoUが2%向上し、特にPascal-Contextでは性能向上が顕著であった。
• 隣接行列の可視化から、すべてのクラスがGCNの恩恵を均等に受けるわけではないことが示され、性能向上はクラスの類似性と利用可能な訓練信号に依存していることがわかった。
• 本フレームワークは、従来のアーキテクチャ的改善（例：GCN）が性能を向上させる理由を、特徴分布学習の因果構造と整合させることでうまく説明できた。
• 本手法は既存の生成モデルと互換性を保ち、アーキテクチャの大幅な見直しを伴わずに、プラグイン型の訓練戦略として性能向上に寄与できる。