[論文レビュー] Combinatorial Optimization for Panoptic Segmentation: A Fully Differentiable Approach

Ahmed Abbas, Paul Swoboda|arXiv (Cornell University)|Jun 6, 2021

Visual Attention and Saliency Detection被引用数 8

ひとこと要約

本稿では、組合せ最適化層（特に非対称なマルチウェイカット：AMWC）をディープラーニングパイプラインに統合した、完全に微分可能なパノプティックセグメンテーションフレームワークCOPSを提案する。AMWCソルバを介して勾配をバックプロパゲートするための頑健な摂動ベース手法を用いることで、パノプティック品質（PQ）指標の滑らかな代替損失を直接最適化し、より単純なResNet-50バックボーンを用いてCityscapesおよびCOCOで最先端の性能を達成した。

ABSTRACT

We propose a fully differentiable architecture for simultaneous semantic and instance segmentation (a.k.a. panoptic segmentation) consisting of a convolutional neural network and an asymmetric multiway cut problem solver. The latter solves a combinatorial optimization problem that elegantly incorporates semantic and boundary predictions to produce a panoptic labeling. Our formulation allows to directly maximize a smooth surrogate of the panoptic quality metric by backpropagating the gradient through the optimization problem. Experimental evaluation shows improvement by backpropagating through the optimization problem w.r.t. comparable approaches on Cityscapes and COCO datasets. Overall, our approach shows the utility of using combinatorial optimization in tandem with deep learning in a challenging large scale real-world problem and showcases benefits and insights into training such an architecture.

研究の動機と目的

• ディープニューラルネットワークと組合せ後処理を同時に最適化する完全に微分可能なパノプティックセグメンテーションアーキテクチャの開発。
• 最適化層を介して微分可能な滑らかな代替損失を定式化することで、パノプティック品質（PQ）指標を直接最適化する。
• 摂動ベースのバックプロパゲーション技術を拡張し、サブ最適なヒューリスティックAMWCソルバを用いた場合でも収束が安定するように、CNNと組合せソルバをエンドツーエンドで訓練可能にする。
• 微分可能な最適化とPQに配慮した監視を用いることで、より単純なモデルが最先端の性能を上回ることを示すこと。

提案手法

• モデルはResNet-50バックボーンを用い、セマンティックセグメンテーション（クラスコスト）とアフィニティ予測（境界コスト）の2本のブランチを持つ。
• これらの予測は、セマンティックおよび境界の証拠を統合する組合せ最適化問題としてパノプティックラベル付けを定式化する非対称マルチウェイカット（AMWC）ソルバに供給される。
• 離散的最適化出力を介して勾配が流れるように、パノプティック品質指標の滑らかな代替損失が訓練損失として使用される。
• 著者らは、サブ最適なヒューリスティックAMWCソルバを用いた場合の安定した収束を実現するため、[64]で提示された摂動ベースバックプロパゲーション手法を頑健なバージョンに拡張した。
• 訓練は2段階で実施される：まずクロスエントロピー損失を用いた事前学習を行い、その後微分可能なPQ代替損失を用いたファインチューニングを行う。
• 本手法はCityscapesおよびCOCOで評価され、推論時間と収束特性の分析も行われた。

実験結果

リサーチクエスチョン

• RQ1 パノプティックセグメンテーションの完全に微分可能なディープラーニングパイプラインに、組合せ最適化を効果的に統合できるか？
• RQ2 非最適なヒューリスティックAMWCソルバを介して勾配をバックプロパゲートすることで、非微分可能な後処理を用いた標準的な訓練に比べて性能向上が達成できるか？
• RQ3 PQ指標の滑らかな代替損失を用いることで、最終評価指標を直接最適化するモデルを訓練可能か？
• RQ4 微分可能な最適化とPQに配慮した損失を用いる場合、より単純なモデル（例：ResNet-50）が、より大きなアーキテクチャを上回る程度の性能を発揮できるか？

主な発見

• AMWCソルバを介した勾配バックプロパゲーションを備えた完全に微分可能な訓練方式により、非微分可能なベースラインと比較して、CityscapesおよびCOCOの両方でパノプティック品質（PQ）が顕著に向上した。
• より小さなバックボーンを用い、テスト時オーグメンテーションも行わず、Panoptic-DeepLab や SMW などの最先端手法を上回る性能を達成した。
• 微分可能なPQ代替損失を用いた訓練では、11日間を要するベースラインと比較して、24時間以内にCOCOバリデーションセットでより高いPQスコアを達成した。
• 頑健なバックプロパゲーション拡張により、サブ最適なソルバを用いた訓練における収束性と安定性が向上し、離散的出力を介した効果的な最適化が可能になった。
• 本手法は、微分可能な最適化とPQに配慮した損失を用いることで、より単純なモデルが最先端の性能を達成できることを示した。これは、パノプティックセグメンテーション分野における進歩にはより深いネットワークが必要であるという仮定に疑問を呈するものである。