[論文レビュー] Bounding boxes for weakly supervised segmentation: Global constraints get close to full supervision

Hoel Kervadec, José Dolz+3 more|arXiv (Cornell University)|Apr 14, 2020

Domain Adaptation and Few-Shot Learning被引用数 34

ひとこと要約

この論文は、グローバル制約を用いた Bounding Box を利用した弱教師付きセグメンテーション手法を導入し、特に深いタイトネス priors と背景の空の制約を組み合わせ、ログバリアベースの制約なし損失で解決し、提案生成なしでほぼ完全教師付きの性能を達成する。

ABSTRACT

We propose a novel weakly supervised learning segmentation based on several\nglobal constraints derived from box annotations. Particularly, we leverage a\nclassical tightness prior to a deep learning setting via imposing a set of\nconstraints on the network outputs. Such a powerful topological prior prevents\nsolutions from excessive shrinking by enforcing any horizontal or vertical line\nwithin the bounding box to contain, at least, one pixel of the foreground\nregion. Furthermore, we integrate our deep tightness prior with a global\nbackground emptiness constraint, guiding training with information outside the\nbounding box. We demonstrate experimentally that such a global constraint is\nmuch more powerful than standard cross-entropy for the background class. Our\noptimization problem is challenging as it takes the form of a large set of\ninequality constraints on the outputs of deep networks. We solve it with\nsequence of unconstrained losses based on a recent powerful extension of the\nlog-barrier method, which is well-known in the context of interior-point\nmethods. This accommodates standard stochastic gradient descent (SGD) for\ntraining deep networks, while avoiding computationally expensive and unstable\nLagrangian dual steps and projections. Extensive experiments over two different\npublic data sets and applications (prostate and brain lesions) demonstrate that\nthe synergy between our global tightness and emptiness priors yield very\ncompetitive performances, approaching full supervision and outperforming\nsignificantly DeepCut. Furthermore, our approach removes the need for\ncomputationally expensive proposal generation. Our code is shared anonymously.\n

研究の動機と目的

• 医用画像における注釈負担を軽減するための、弱教師付きセグメンテーションの動機づけ。
• 境界ボックスに由来するグローバル制約を導入し、ピクセルごとの予測を導く。
• 解の単純化を防ぎ、箱の線分内で前景の存在を強制する深いタイトネス priors を組み込む。
• 境界ボックス外の情報を活用するため、グローバルな背景空であるという制約を活用する。
• 提案生成を行わずに競争力のある性能を維持するエンドツーエンドの訓練手法を提供する。

提案手法

• 深層ネットワークが s_theta(p) を [0,1] に出力するよう最適化を定式化する。
• 空であるという制約を課す：境界ボックスの外側の画素集合 {p outside_box} に対する s_theta(p) の総和 <= 0（背景 outside box）。
• タイトネス制約を課す：箱の内部の各直線/セグメントに沿って画素確率の総和がその幅以上である。
• グローバル制約をネットワーク出力の不等式形式に翻訳し、標準 SGD への対数 Barrier 拡張を用いた一連の制約なし損失で解く。
• Lagrangian 双対ステップと射影を避け、SGD と互換性のある拡張対数バリア法を用いる。
• グローバル制約が背景のクロスエントロピーより優れた性能を示し、提案生成への依存を減らすことを実証する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスの注釈をグローバル制約と組み合わせて、完全監視セグメンテーションの性能に近づけることができるか。
• RQ2 深いタイトネス prior とグローバルな背景空性制約は、弱教師付き医用画像セグメンテーションでお互いをどのように補完するか。
• RQ3 提案生成パイプラインなしに、こうした制約付きネットワークを効率的に訓練することは現実的か。
• RQ4 グローバルなサイズ/領域制約は、タイトネス priors と空性 priors を超えて頑健性をさらに向上させるか。

主な発見

• グローバルなタイトネスと空性 priors は、競争力のあるセグメンテーション性能を生み出し、完全監視に近づく。
• 背景クラスに対するグローバル背景空性制約は、背景クラスの標準クロスエントロピーよりも強力である。
• この手法は、テストデータセットで DeepCut を上回る。
• 提案生成の計算コストの高い処理を不要にする。
• 実験は前立腺と脳病変分割の2データセットを対象とする。
• 訓練は、SGD に適合する対数バリア最適化を介した一連の制約なし損失に依存する。