[論文レビュー] W-Net: A Deep Model for Fully Unsupervised Image Segmentation

Xide Xia, Brian Kulis|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 20被引用数 214

ひとこと要約

要約：W-Net は2つの U-Net スタイル FCN をエンコーダ-デコーダとして利用し、教師なしの画像セグメンテーションを行う。ソフト正規化カット損失と再構成損失で訓練し、その後 CRF 平滑化と階層的結合を適用する。ラベル付きデータなしで競争力のある BSDS パフォーマンスを達成する。

ABSTRACT

While significant attention has been recently focused on designing supervised deep semantic segmentation algorithms for vision tasks, there are many domains in which sufficient supervised pixel-level labels are difficult to obtain. In this paper, we revisit the problem of purely unsupervised image segmentation and propose a novel deep architecture for this problem. We borrow recent ideas from supervised semantic segmentation methods, in particular by concatenating two fully convolutional networks together into an autoencoder--one for encoding and one for decoding. The encoding layer produces a k-way pixelwise prediction, and both the reconstruction error of the autoencoder as well as the normalized cut produced by the encoder are jointly minimized during training. When combined with suitable postprocessing involving conditional random field smoothing and hierarchical segmentation, our resulting algorithm achieves impressive results on the benchmark Berkeley Segmentation Data Set, outperforming a number of competing methods.

研究の動機と目的

• ピクセル単位のラベルが乏しい領域での教師なしの画像セグメンテーションを動機づける。
• 深いエンコーダ-デコーダアーキテクチャ（W-Net）を提案し、教師なしで密なkクラスの画素-wise セグメンテーションを実現する。
• エンコーダ出力に対してソフト正規化カット損失と、オートエンコーダの再構成損失を共同最適化する。
• 後処理として完全結合 CRF 平滑化と階層的マージによってセグメンテーション品質を向上させる。

提案手法

• 連続する2つの FCN はオートエンコーダを形成する：エンコーダ（U_Enc）はKウェイのピクセル単位ソフトセグメンテーションを出力し、デコーダ（U_Dec）はエンコーディングから入力を再構成する。
• エンコーダ出力に微分可能な soft-Ncut 損失（J_soft-Ncut）を最小化し、セグメント内の親和性とセグメント間の非類似性を促進する。
• 再構成損失（J_reconstr）は、入力 X とエンコーディングからの再構成画像との差を最小化する。
• 訓練は交互に行われる：まず J_soft-Ncut を最小化するように U_Enc を更新し、次に J_reconstr を最小化するように U_Enc と U_Dec の両方を更新する。
• ほとんどのモジュールで depthwise separable 畳み込みを用いてパラメータ効率を向上させる；ネットワークは完全畳み込み型（全結合層なし）。
• 後処理では完全結合CRFを用いて境界をシャープ化し、階層的マージ（UCM ベース）で最終セグメントを生成する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしの深層アーキテクチャが、ラベル付きデータなしで競争力のあるピクセル単位の画像セグメンテーションを生み出せるか？
• RQ2 エンコーダ由来のソフトセグメンテーションと再構成目的を結合すると、入力構造と整合するセグメンテーションが得られるか？
• RQ3 完全教師なしセグメンテーションに対して、CRF 平滑化と階層的マージといった後処理ステップはどのような利点をもたらすか？
• RQ4 BSDS300/BSDS500 のような標準的な教師なしセグメンテーションのベンチマークで、提案された W-Net は古典的手法と比較してどの程度の性能ですか？

主な発見

手法	SC	PRI	VI	ODS	OIS
W-Net (ours) BSDS300	0.58	0.62	0.81	0.84	1.71
W-Net (ours) BSDS500	0.57	0.62	0.81	0.84	1.76

• W-Net は BSDS300/BSDS500 で古典的な教師なし手法と比較して競争力のスコアを達成する。
• 訓練時に soft-Ncut を含めると、再構成品質の一部を犠牲にしても、より一貫性のあるセグメンテーションを得られる。
• CRF 平滑化と階層的マージによる後処理は、生の W-Net 出力より最終セグメンテーション品質（ODS/OIS）を改善する。
• BSDS ベンチマークでは、いくつかの指標で人間近似レベルに近づき、いくつかの古典的手法を上回る。
• 教師なしでの訓練では、表現学習のために PASCAL VOC2012 のようなデータセットを使用し、評価は BSDS のグラウンドトゥルースだけで行われる。