[論文レビュー] GAN Mask R-CNN:Instance semantic segmentation benefits from generativeadversarial networks

Quang Hoai Le, Kamal Youcef‐Toumi+2 more|arXiv (Cornell University)|Oct 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 4

ひとこと要約

本稿では、マスク予測を敵対的生成ネットワーク（GAN）ゲームとして定式化することで、生成対抗ネットワーク（GAN）をマスクR-CNNに統合した新規なインスタンスセグメンテーションフレームワーク、GANマスクR-CNNを提案する。このフレームワークでは、生成器がマスクを生成し、識別器が本物のマスクと生成されたマスクを区別する。これにより、モデルは学習された敵対的損失を備え、境界の正確性、ごみの多い状況、微細な詳細の再現性において、アーキテクチャの変更なしに複数のドメインで標準的なマスクR-CNNを上回るマスク品質を実現する。

ABSTRACT

In designing instance segmentation ConvNets that reconstruct masks, segmentation is often taken as its literal definition -- assigning label to every pixel -- for defining the loss functions. That is, using losses that compute the difference between pixels in the predicted (reconstructed) mask and the ground truth mask -- a template matching mechanism. However, any such instance segmentation ConvNet is a generator, so we can lay the problem of predicting masks as a GANs game framework: We can think the ground truth mask is drawn from the true distribution, and a ConvNet like Mask R-CNN is an implicit model that infers the true distribution. Then, designing a discriminator in front of this generator will close the loop of GANs concept and more importantly obtains a loss that is trained not hand-designed. We show this design outperforms the baseline when trying on, without extra settings, several different domains: cellphone recycling, autonomous driving, large-scale object detection, and medical glands. Further, we observe in general GANs yield masks that account for better boundaries, clutter, and small details.

研究の動機と目的

• 予測マスクと真値マスクのピクセル単位の差異に依存する手動で設計された損失関数の限界を是正すること。
• マスクR-CNNのようなインスタンスセグメンテーションモデルの生成器の性質が、GANフレームワーク内で活用可能かどうかを検討すること。
• 従来の再構築損失を置き換えたり補完したりする敵対的損失を用いた学習パラダイムを構築し、一般化性能と詳細の保持性を向上させること。
• 本手法の有効性を、医療画像、自動運転、産業分野のオブジェクト検出を含む多様で現実世界のドメインで評価すること。

提案手法

• インスタンスセグメンテーションをGANゲームとして再定式化：マスクR-CNNモデルがマスクを生成する生成器として機能し、識別器が本物の真値マスクと生成されたマスクを区別する。
• 識別器のフィードバックを、手動で設計されたものとは異なる学習済みの損失信号として用い、生成器（マスクR-CNN）を学習させる。これにより、従来のピクセル単位の再構築損失を置き換えたり補完したりする。
• 生成器と識別器を敵対的に訓練する。生成器は識別器に自身の出力を本物と誤認させることを目的とする。
• アーキテクチャの変更なしに、標準的なマスクR-CNNにGANフレームワークを統合する。これにより、元のモデルの構造と推論パイプラインを保持する。
• バックプロパゲーション中に、データセットの本物のマスクと生成器が生成した偽物のマスクを用いて識別器を学習する。
• 訓練中に敵対的損失を適用し、マスクの境界、ごみの多い状況への耐性、微細な詳細の捉え込みを向上させる。

実験結果

リサーチクエスチョン

• RQ1 マスクR-CNNのようなインスタンスセグメンテーションモデルの生成器の性質が、GANフレームワーク内で効果的に活用可能かどうか。
• RQ2 従来のピクセル単位の損失関数を敵対的損失に置き換えたり補完したりすることで、インスタンスセグメンテーションにおけるマスク品質が向上するかどうか。
• RQ3 敵対的学習スキームは、医療用の腺、自動運転、産業分野のオブジェクト検出といった多様なドメインでどのように性能を発揮するか。
• RQ4 敵対的損失は、正確な境界予測能力や小さなオブジェクト・ごみの多いオブジェクトの処理能力を向上させるか。
• RQ5 既存のマスクR-CNNパイプラインに、アーキテクチャの変更やハイパーパramータのチューニングなしにGANフレームワークを統合可能かどうか。

主な発見

• GANマスクR-CNNフレームワークは、スマートフォンリサイクル、自動運転、大規模オブジェクト検出、医療用腺セグメンテーションを含む複数のドメインで、標準的なマスクR-CNNを上回る性能を発揮する。
• 敵対的損失により、境界の正確性が著しく向上し、ごみの多い状況や小さなオブジェクトの処理能力も向上する。
• アーキテクチャの変更や追加のハイパーパramータチューニングなしに優れた性能を達成しており、GAN統合の一般化可能性を示している。
• 識別器のフィードバックは、手動で設計されたピクセル単位の損失よりも、より頑健で意味論的にインformedな損失信号を提供する。
• 多様な現実世界のデータセットにおいて、細部の保持性と構造的整合性の観点から、マスク品質が一貫して向上している。