[論文レビュー] Scale-Invariant Feature Learning using Deconvolutional Neural Networks for Weakly-Supervised Semantic Segmentation.

Hyoeun Kim, Sangheum Hwang|arXiv (Cornell University)|Feb 16, 2016

Advanced Chemical Sensor Technologies参考文献 29被引用数 13

ひとこと要約

この論文は、画像ラベルのみを用いた弱教師ありセマンティックセグメンテーションのためのスケール不変特徴学習フレームワークを提案する。重みを共有するデコンボリューションニューラルネットワークを用い、アンプーリングとデコンボリューションを組み合わせることで、誤検出を低減する判別性の高い特徴を再構成する。PASCAL VOCでは最先端の性能を達成し、画像レベルラベルのみを用いて胸部X線画像における病変セグメンテーションにおいても優れた結果を示した。

ABSTRACT

A weakly-supervised semantic segmentation framework with a tied deconvolutional neural network is presented. Each deconvolution layer in the framework consists of unpooling and deconvolution operations. 'Unpooling' upsamples the input feature map based on unpooling switches defined by corresponding convolution layer's pooling operation. 'Deconvolution' convolves the input unpooled features by using convolutional weights tied with the corresponding convolution layer's convolution operation. The unpooling-deconvolution combination helps to eliminate less discriminative features in a feature extraction stage, since output features of the deconvolution layer are reconstructed from the most discriminative unpooled features instead of the raw one. This results in reduction of false positives in a pixel-level inference stage. All the feature maps restored from the entire deconvolution layers can constitute a rich discriminative feature set according to different abstraction levels. Those features are stacked to be selectively used for generating class-specific activation maps. Under the weak supervision (image-level labels), the proposed framework shows promising results on lesion segmentation in medical images (chest X-rays) and achieves state-of-the-art performance on the PASCAL VOC segmentation dataset in the same experimental condition.

研究の動機と目的

• 画像レベルのアノテーションのみを用いた弱教師ありセマンティックセグメンテーションの課題に取り組み、高価なピクセルレベルのアノテーションを回避すること。
• 生の特徴ではなく、アンプーリングに基づく最も情報量の多い活性化から特徴を再構成することで、特徴マップの判別性を向上させること。
• 特徴再構成時に判別性の高い特徴に注目することで、ピクセルレベルの予測における誤検出を低減すること。
• スタックされたデコンボリューション層から得られる豊富な多層特徴表現を生成し、クラス固有の活性マップの生成を改善すること。
• PASCAL VOCなどのベンチマークデータセットおよび弱教師あり条件下での医療画像（胸部X線）で最先端の性能を達成すること。

提案手法

• 各デコンボリューション層がアンプーリングの後にデコンボリューションを実行する、重みを共有するデコンボリューションニューラルネットワークアーキテクチャを採用する。
• アンプーリングは、対応する畳み込み層のプーリング操作から得られるスイッチを用いて特徴マップをアップサンプリングし、空間的構造を保持する。
• デコンボリューションは、対応する畳み込み層と重みを共有する転置畳み込みフィルタを適用し、特徴の再構成の一貫性を保証する。
• アンプーリングとデコンボリューションのペアは、最も判別性の高い活性化から特徴を再構成し、情報量が少ないまたはノイズの多い特徴を抑制する。
• 複数のデコンボリューション層により、異なる抽象化レベルの特徴マップが生成され、これらがスタックされて包括的な判別性の高い特徴セットを形成する。
• これらのスタックされた特徴は、画像レベルの監視下でクラス固有の活性マップを生成するために選択的に使用される。

実験結果

リサーチクエスチョン

• RQ1 重みを共有するデコンボリューションネットワークアーキテクチャは、弱教師ありセマンティックセグメンテーションのためのスケール不変で判別性の高い特徴を効果的に学習できるか？
• RQ2 アンプーリングとデコンボリューションのメカニズムは、最も情報量の多い特徴活性化に注目することで誤検出を低減するか？
• RQ3 複数のデコンボリューション層から得られるスタックされた特徴マップは、弱教師あり条件下でセグメンテーション精度を向上させられるか？
• RQ4 提案手法は、画像レベルラベルのみを用いた標準ベンチマーク（PASCAL VOC）において、最先端の手法と比較してどうなるか？
• RQ5 このフレームワークは、胸部X線における病変セグメンテーションなどの医療画像処理タスクに一般化可能か？

主な発見

• 提案されたフレームワークは、先行研究と同一の実験条件のもとでPASCAL VOC 2012セマンティックセグメンテーションベンチマークで最先端の性能を達成した。
• 最も判別性の高いアンプールド特徴から特徴を再構成することで、ピクセルレベルの推論における誤検出が顕著に低減された。
• スタックされたデコンボリューション特徴マップは、豊富で多層的な表現を提供し、クラス固有の活性マップの生成を強化した。
• フレームワークは医療画像セグメンテーションにおいても優れた性能を示し、胸部X線における病変局在化においても有望な結果を達成した。
• デコンボリューション層での重みの共有により、追加のパラメータを追加せずに特徴再構成の一貫性が保たれ、特徴の判別性が向上した。