[論文レビュー] Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation

Hyoeun Kim, Sangheum Hwang|arXiv (Cornell University)|Feb 16, 2016

Advanced Chemical Sensor Technologies参考文献 34被引用数 14

ひとこと要約

本稿では、画像レベルのラベルのみを用いた弱教師ありセマンティックセグメンテーションのためのフレームワークを提案する。畳み込みデコンボリューションネットワークを用いた特徴マップのスタッキングにより、局所化精度を向上させる。高レベルの活性化から判別性の高い特徴を再構築するために、アンプーリングと重みが固定されたデコンボリューションを活用することで、誤検出を低減し、PASCAL VOC 2012 や胸部レントゲン写真を含む医療画像データセットにおいて最先端の性能を達成する。

ABSTRACT

A weakly-supervised semantic segmentation framework with a tied deconvolutional neural network is presented. Each deconvolution layer in the framework consists of unpooling and deconvolution operations. 'Unpooling' upsamples the input feature map based on unpooling switches defined by corresponding convolution layer's pooling operation. 'Deconvolution' convolves the input unpooled features by using convolutional weights tied with the corresponding convolution layer's convolution operation. The unpooling-deconvolution combination helps to eliminate less discriminative features in a feature extraction stage, since output features of the deconvolution layer are reconstructed from the most discriminative unpooled features instead of the raw one. This results in reduction of false positives in a pixel-level inference stage. All the feature maps restored from the entire deconvolution layers can constitute a rich discriminative feature set according to different abstraction levels. Those features are stacked to be selectively used for generating class-specific activation maps. Under the weak supervision (image-level labels), the proposed framework shows promising results on lesion segmentation in medical images (chest X-rays) and achieves state-of-the-art performance on the PASCAL VOC segmentation dataset in the same experimental condition.

研究の動機と目的

• 画像レベルのラベルしか入手できない弱教師ありセマンティックセグメンテーションの課題に対処し、ピクセル単位の精細な局所化を困難にしている要因を解消すること。
• 特徴再構築段階で、最も判別性の高い特徴のみを選択的に再構築することで、活性マップにおける誤検出を低減すること。
• スタックされたデコンボリューション層を用いて、異なる抽象化レベルにおける豊富なマルチレベル特徴表現を構築すること。
• エンコーダーとデコーダーのパス間に重みが固定された構造を導入することで、エンコーダーとデコーダーの密な接続を実現し、弱教師あり環境下での局所化精度を向上させること。
• ピクセル単位のアノテーションが高コストであり、ドメイン特化した専門知識を要する医療画像分野への適用可能性を示すこと。

提案手法

• 本フレームワークは、事前学習済みのCNNの上に構築された重みが固定されたデコンボリューションネットワークを用いる。各デコンボリューション層は、アンプーリングとデコンボリューションの操作から構成される。
• アンプーリングは、対応する畳み込み層からのプーリングマスクを用いて特徴マップをアップサンプリングし、最も判別性の高い活性化のみを保持する。
• デコンボリューションは、対応するエンコーダー畳み込み層の重みと固定された転置畳み込みを適用することで、エンコーダー・デコーダー間の密な接続を強制する。
• すべてのデコンボリューション層および最終畳み込み層から回復された特徴は、チャネル方向にアップサンプリングおよび連結され、豊富なマルチスケール特徴セットを形成する。
• 最終的な畳み込み層は、スタックされた特徴を処理し、クラス固有の活性マップを生成する。このマップはチャネル方向にソフトマックス化され、ピクセル単位の分類が行われる。
• モデルは、画像レベルのラベルのみを用いてエンドツーエンドで訓練され、最終的な損失関数は予測されたクラス確率と真の画像レベルラベルを比較することで計算される。

実験結果

リサーチクエスチョン

• RQ1 重みが固定されたデコンボリューションを用いたデコンボリューション特徴のスタッキングは、弱教師ありセマンティックセグメンテーションにおける局所化精度を向上させることができるか？
• RQ2 アンプーリングに基づく特徴再構築は、標準的なデコンボリューションやグローバルプーリング手法と比較して、誤検出を低減するか？
• RQ3 提案手法は、同じ弱教師あり設定下で、医療画像および自然画像の両方のデータセットにおいて最先端の性能を達成できるか？
• RQ4 スタックされたマルチレベル特徴表現は、粗いと細かいオブジェクトの詳細を両方効果的に捉えることができるか？
• RQ5 ピクセル単位のアノテーションが極めて高コストである医療画像分野において、本手法は汎用性を示せるか？

主な発見

• 弱教師あり設定下で、PASCAL VOC 2012 の検証セットにおいて、平均IoUが33.6%を達成し、FC-MIL や GP-LSE を上回る最先端の性能を示した。
• PASCAL VOC 2012 データセットにおいて、段階3でmIoUが33.4%を達成し、ベースライン（27.3%）およびC-CNN（33.3%）を同等の訓練条件下で上回った。
• 胸部レントゲン画像において、誤検出が効果的に低減され、さまざまな病変スケールにおいても病変境界が回復されていることが、定性的な例で示された。
• デコンボリューションの各段階において一貫した改善が見られ、徐々に洗練された活性マップと誤検出の低減が実現された。
• 重みが固定された構造とアンプーリングの組み合わせにより、追加の監視信号や後処理がなくても、より良い特徴再構築と局所化が可能となった。
• 本手法は医療画像分野においても有効であり、専門家によるピクセル単位のデータが不足するCADe/CADxシステムに実用的な解決策を提供した。