[論文レビュー] Adversarial Structure Matching Loss for Image Segmentation.

Jyh-Jing Hwang, Tsung-Wei Ke+2 more|arXiv (Cornell University)|May 18, 2018

Image Processing Techniques and Applications参考文献 52被引用数 8

ひとこと要約

本論文では、画像セグメンテーションのための新しいトレーニングフレームワークとして、構造的推論を向上させるために敵対的プロセスを用いるアドバーシャル構造マッチング損失（ASML）を提案する。従来のピxls単位の交差エントロピー損失（CEL）とは異なり、ASMLは共起パターンにおける繰り返し発生する構造的誤りを検出し、それを強調する構造アナライザーを訓練する。一方、セグメンテーションネットワークはこれらの誤りを最小化するように学習する。その結果、複数のアーキテクチャにわたって境界局在の精度が向上し、文脈的混乱が軽減される。

ABSTRACT

The per-pixel cross-entropy loss (CEL) has been widely used in structured output prediction tasks as a spatial extension of generic image classification. However, its i.i.d. assumption neglects the structural regularity present in natural images. Various attempts have been made to incorporate structural reasoning mostly through structure priors in a cooperative way where co-occuring patterns are encouraged. We, on the other hand, approach this problem from an opposing angle and propose a new framework for training such structured prediction networks via an adversarial process, in which we train a structure analyzer that provides the supervisory signals, the adversarial structure matching loss (ASML). The structure analyzer is trained to maximize ASML, or to exaggerate recurring structural mistakes usually among co-occurring patterns. On the contrary, the structured output prediction network is trained to reduce those mistakes and is thus enabled to distinguish fine-grained structures. As a result, training structured output prediction networks using ASML reduces contextual confusion among objects and improves boundary localization. We demonstrate that ASML outperforms its counterpart CEL especially in context and boundary aspects on figure-ground segmentation and semantic segmentation tasks with various base architectures, such as FCN, U-Net, DeepLab, and PSPNet.

研究の動機と目的

• 自然画像における構造的規則性を捉えることに限界を示すピxls単位の交差エントロピー損失（CEL）の問題を解決すること。
• CELのi.i.d.仮定が、構造的出力予測における空間的依存関係や共起パターンを無視することを克服すること。
• 識別的敵対的トレーニングメカニズムを導入することで、境界局在と文脈理解の性能を向上させること。
• 敵対的フィードバックを通じて、セグメンテーションネットワークが微細な構造的差異を学習できるトレーニングフレームワークを開発すること。
• ASMLの有効性を、FCN、U-Net、DeepLab、PSPNetといった多様なアーキテクチャにおいて、意味的セグメンテーションおよび図背景セグメンテーションタスクで示すこと。

提案手法

• 共起パターンにおける繰り返し発生する構造的誤りを特定することで、敵対的構造マッチング損失（ASML）を最大化するように構造アナライザーを訓練する敵対的トレーニングフレームワークを提案する。
• セグメンテーションネットワークをASMLを最小化するように訓練することで、構造的誤りを是正し、予測の一貫性を向上させる。
• 構造アナライザーを、出力の構造的整合性と誤りパターンに基づいて、監視信号を提供するクライアントとして使用する。
• 二重トレーニングプロセスを導入：構造アナライザーは構造的不一致を誇張するように最適化され、セグメンテーションネットワークはそれらを低減するように最適化される。
• ASMLを識別的損失として定式化し、ネットワークが構造的に妥当で、一般的な文脈的誤りのない予測を生成するように促進する。
• FCN、U-Net、DeepLab、PSPNetを含むさまざまなベースアーキテクチャと互換性のあるプラグイン損失関数としてASMLを統合する。

実験結果

リサーチクエスチョン

• RQ1 敵対的トレーニングメカニズムは、標準の交差エントロピー損失を上回る構造的推論を画像セグメンテーションで向上させることができるか？
• RQ2 ASMLは意味的セグメンテーションおよび図背景セグメンテーションタスクにおける境界局在と文脈的一致性にどのように影響を与えるか？
• RQ3 U-Net や DeepLab などの異なるセグメンテーションアーキテクチャに、ASMLはどの程度一般化可能か？
• RQ4 構造アナライザーからの敵対的フィードバックは、先行手法と比較して、共起パターン誤りの検出をより正確に行えるか？
• RQ5 明示的な構造的事前知識や補助的監視を必要とせずに、ASMLは文脈的混乱を低減できるか？

主な発見

• ASMLは、評価されたすべてのアーキテクチャにおいて、標準の交差エントロピー損失（CEL）と比較して境界局在の正確性を顕著に向上させた。
• 本手法は、オブジェクト間の文脈的混乱を軽減し、より一貫した構造的パターンを学習させることで、ネットワークがより一貫した構造的パターンを学習するのを促進した。
• ASMLは、重なっているか類似したオブジェクトが存在する複雑なシーンにおいて、構造的推論が重要となるため、CELを上回る性能を発揮した。
• 敵対的構造アナライザーは、繰り返し発生する構造的誤りを効果的に特定・強調し、セグメンテーションネットワークに対する有効な監視信号を提供した。
• ASMLによる性能向上は、FCN、U-Net、DeepLab、PSPNetを含む複数のアーキテクチャで一貫して観察された。
• 本手法は、図背景および意味的セグメンテーションベンチマークで最先端の結果を達成し、構造的予測における敵対的トレーニングの有効性を示した。