[論文レビュー] Contour Detection Using Cost-Sensitive Convolutional Neural Networks

Jyh-Jing Hwang, Tyng-Luh Liu|arXiv (Cornell University)|Dec 22, 2014

Medical Image Segmentation Techniques参考文献 32被引用数 5

ひとこと要約

本論文は、DenseNetをベースとする畳み込みニューラルネットワークのコストセンシティブな微調整戦略を提案し、画素単位のホロウ検出を向上させる。ImageNetで事前学習されたモデルを画素単位の分類に適応させ、小さなエッジパッチデータセット上でコストセンシティブなSVMを用いたアンサンブル学習を活用することで、BSDS500で最先端の性能を達成し、Fスコアは0.80、ODSスコアは0.76を記録した。

ABSTRACT

We address the problem of contour detection via per-pixel classifications of edge point. To facilitate the process, the proposed approach leverages with DenseNet, an efficient implementation of multiscale convolutional neural networks (CNNs), to extract an informative feature vector for each pixel and uses an SVM classifier to accomplish contour detection. The main challenge lies in adapting a pre-trained per-image CNN model for yielding per-pixel image features. We propose to base on the DenseNet architecture to achieve pixelwise fine-tuning and then consider a cost-sensitive strategy to further improve the learning with a small dataset of edge and non-edge image patches. In the experiment of contour detection, we look into the effectiveness of combining per-pixel features from different CNN layers and obtain comparable performances to the state-of-the-art on BSDS500.

研究の動機と目的

• ホロウ検出における画素単位のエッジ分類に適した事前学習済みImageNet CNNの適応化の挑戦に応える。
• エッジ検出のための小規模なトレーニングデータセットの制限を、コストセンシティブな学習戦略の導入によって克服する。
• 深層ネットワーク内の異なる畳み込み層からの特徴量がホロウ検出に与える寄与を調査する。
• 異なるネットワーク層からの複数の微調整済み特徴ストリームをアンサンブル学習することで性能を向上させる。
• 個々のアプローチよりも、正例と負例の両方の微調整を組み合わせたアプローチが優れた結果をもたらすことを示す。

提案手法

• 各画像画素のためのマルチスケールで高レベルの特徴を抽出するために、バックボーンとしてDenseNetを用いる。
• 画像レベル分類ではなく、画素単位のエッジ分類に適応するため、事前学習済みImageNet CNNに対して画素単位の微調整を適用する。
• エッジ（正例）と非エッジ（負例）の画素に対して異なる誤分類ペナルティを割り当てることで、コストセンシティブな学習を実装する。
• エッジおよび非エッジの画像パッチを小規模かつ選別されたデータセットとして用意し、SVM分類器を訓練することで画素単位の予測を実現する。
• 5つの異なる畳み込み層（Conv1からConv5）からの特徴を統合し、マルチストリームアンサンブルモデルを構築することで検出のロバスト性を向上させる。
• 複数のコストセンシティブな微調整ストリームからの予測を統合する最終統合モデルを用い、性能を最大化する。

実験結果

リサーチクエスチョン

• RQ1 小規模なデータセットを用いて、事前学習済みImageNet CNNを画素単位のエッジ検出に効果的に微調整できるか？
• RQ2 異なる畳み込み層からの特徴量がホロウ検出性能にどのように寄与するか？
• RQ3 不均衡なエッジ／非エッジデータセット上で学習する際、コストセンシティブな学習が性能向上に寄与するか？
• RQ4 正例と負例の微調整ストリームを組み合わせることで、単独で使用する場合よりも一般化性能が向上するか？
• RQ5 複数の特徴ストリームにわたるアンサンブル学習が、最先端のホロウ検出性能に与える影響は何か？

主な発見

• 提案されたコストセンシティブな微調整戦略は、標準的な画素単位の微調整よりもホロウ検出性能を顕著に向上させ、特に正例と負例の両方の微調整ストリームを組み合わせた場合に顕著である。
• 最終的なアンサンブルモデル（CSCNN）は、BSDS500ベンチマークでFスコア（AP）0.80、ODSスコア0.76を達成し、既存の手法を上回る性能を示した。
• 2番目、3番目、4番目の畳み込み層からの特徴量が検出精度に最も寄与しており、中レベルの特徴量がエッジ検出に最も有用であることが示された。
• 5つの畳み込み層すべての特徴量を組み合わせると最良の性能が得られ、低レベルのテクスチャと高レベルのオブジェクトの手がかりが両方とも不可欠であることを示した。
• 正例と負例の微調整を組み合わせることによる性能向上は顕著で、Fスコアが0.2向上した。これは、両者の相補性を確認するものである。
• 5ストリームの事前学習済みモデルですでに強力な結果（0.75 ODS、0.77 OIS）が得られており、適切な適応を伴う転移学習が画素単位のタスクにおいて極めて有効であることを示している。