[論文レビュー] Object Contour Detection with a Fully Convolutional Encoder-Decoder Network

Shuicheng Yan, Brian Price+3 more|arXiv (Cornell University)|Mar 15, 2016

Medical Image Segmentation Techniques参考文献 7被引用数 44

ひとこと要約

この論文は、密度的なCRFに基づくポリゴン精錬を用いて、洗練されたPASCAL VOCアノテーション上でエンド・ツー・エンドに訓練された、完全畳み込みエンコーダ・デコーダネットワーク（CEDN）を提案する。この手法は、MCG（マルチスケールコンビナトリアルグループ化）と組み合わせることで、1画像あたり約1,660個のオブジェクト候補でPASCAL VOC 2012でSOTAの平均リCALL値0.67を達成し、以前の手法よりもはるかに少ない候補数で優れた性能を発揮した。

ABSTRACT

We develop a deep learning algorithm for contour detection with a fully convolutional encoder-decoder network. Different from previous low-level edge detection, our algorithm focuses on detecting higher-level object contours. Our network is trained end-to-end on PASCAL VOC with refined ground truth from inaccurate polygon annotations, yielding much higher precision in object contour detection than previous methods. We find that the learned model generalizes well to unseen object classes from the same super-categories on MS COCO and can match state-of-the-art edge detection on BSDS500 with fine-tuning. By combining with the multiscale combinatorial grouping algorithm, our method can generate high-quality segmented object proposals, which significantly advance the state-of-the-art on PASCAL VOC (improving average recall from 0.62 to 0.67) with a relatively small amount of candidates ($\sim$1660 per image).

研究の動機と目的

• オブジェクトの輪郭検出のための高品質で大規模な学習データの不足を解消するため、不正確なポリゴンアノテーションを精錬すること。
• 従来のエッジ検出器よりも精度の高い、低レベルのエッジではなく、より高レベルのオブジェクトの輪郭を検出する深層学習モデルを開発すること。
• 輪郭検出とマルチスケールコンビナトリアルグループ化（MCG）を組み合わせることで、高品質なセグメンテーション済みオブジェクト候補を生成すること。
• 特にMS COCOにおいて、同じスーパークラスに属する未学習のオブジェクトクラスへの一般化性能を評価すること。
• 最小限のファインチューニングで、自然画像のエッジ検出に転移学習を可能にすること。

提案手法

• VGG-16をエンコーダ（固定）として用い、アンプーリングと畳み込み層を有するデコーダを備えた完全畳み込みエンコーダ・デコーダネットワーク（CEDN）を設計する。
• エンコーダ・デコーダ構造により、任意の画像サイズで密なフル解像度の予測が可能となり、マックスプーリングのスイッチからのスキップ接続を活用して正確な局所化が可能になる。
• 不正確なポリゴンアノテーションから、密度的なCRFに基づく手法を用いて真値の輪郭を精錬することで、学習データの品質を向上させる。
• ネットワークは、オブジェクトのみの輪郭を重視し、背景エッジを抑制するように、洗練されたアノテーション上でエンド・ツー・エンドに訓練される。
• オブジェクト候補は、予測された輪郭マップにMCGアルゴリズムを適用することで生成され、高いリCALLを達成するセグメンテーション済みの候補が得られる。
• モデルはBSDS500でファインチューニングされ、SOTAのエッジ検出性能に一致させられ、再トレーニングなしでMS COCOで評価される。

実験結果

リサーチクエスチョン

• RQ1 洗練された大規模アノテーション上で訓練された完全畳み込みエンコーダ・デコーダネットワークは、高精度なオブジェクトの輪郭検出を達成できるか？
• RQ2 同じスーパークラス（例：動物や車両）に属する未学習のオブジェクトクラスへの一般化性能はどの程度か？
• RQ3 予測された輪郭は、従来の手法よりも少ない候補数で、高品質なセグメンテーション済みオブジェクト候補を効果的に生成できるか？
• RQ4 オブジェクトの輪郭で訓練されたにもかかわらず、ファインチューニング後に自然画像のエッジ検出で競争力のある性能を達成できるか？
• RQ5 MS COCOでは、PASCAL VOCのトレーニングセットに存在しない新規オブジェクトクラス（例：「食べ物」や「家電」）に対して、モデルの性能はどの程度か？

主な発見

• CEDNモデルは、PASCAL VOC 2012のバリデーションセットで、1画像あたり約1,660個のオブジェクト候補で平均リCALL値0.67を達成し、以前のSOTA（0.62）を上回った。
• 候補数を3分の1に削減（約5,140から約1,660に）しながら、平均リCALL値を8%向上させた。
• 同じスーパークラスに属する未学習のオブジェクトクラス（例：「いヌイ」を「いヌイ」と「ねこ」で学習した場合）に対しても、良好な一般化性能を示した。
• MS COCOでは、MCGよりも少ない候補数で競争力のある平均リCALL（AR）を達成したが、PASCAL VOCで背景アノテーションが含まれていたため、「食べ物」や「家電」などの新規クラスでは性能が低下した。
• ファインチューニング後、BSDS500ではSOTAのエッジ検出性能と同等の性能を達成し、転移可能性を示した。
• CEDNSCGバージョンは、1画像あたり3秒未満でCEDNMCGと同等の精度を達成し、SCGを用いることで効率性の向上が確認された。