[論文レビュー] Pushing the Boundaries of Boundary Detection using Deep Learning

Iasonas Kokkinos|arXiv (Cornell University)|Nov 23, 2015

Advanced Neural Network Applications参考文献 35被引用数 51

ひとこと要約

この論文では、マルチスケールアーキテクチャ、新しい損失関数、外部学習データを組み合わせることで、SOTA性能を達成する深層学習ベースの境界検出システムを提案している。Berkeley Segmentation DatasetではFスコア0.813を達成し、人間の性能（F=0.803）を上回っている。さらに、DenseCRF推論に正規化カットを統合することで、Semantic Segmentationの性能を向上させ、PASCAL VOC 2012で平均正答率75.7%を達成している。

ABSTRACT

In this work we show that adapting Deep Convolutional Neural Network training to the task of boundary detection can result in substantial improvements over the current state-of-the-art in boundary detection. Our contributions consist firstly in combining a careful design of the loss for boundary detection training, a multi-resolution architecture and training with external data to improve the detection accuracy of the current state of the art. When measured on the standard Berkeley Segmentation Dataset, we improve theoptimal dataset scale F-measure from 0.780 to 0.808 - while human performance is at 0.803. We further improve performance to 0.813 by combining deep learning with grouping, integrating the Normalized Cuts technique within a deep network. We also examine the potential of our boundary detector in conjunction with the task of semantic segmentation and demonstrate clear improvements over state-of-the-art systems. Our detector is fully integrated in the popular Caffe framework and processes a 320x420 image in less than a second.

研究の動機と目的

• 機械と人間の境界検出性能の差を埋めるために、深層学習をこのタスクに適応させること。
• 適切に設計された損失関数、マルチスケールアーキテクチャ、外部学習データを用いて、境界検出の精度を向上させること。
• 古典的なグループ化手法（例：正規化カット）を深層ニューラルネットワークに統合し、境界認識を強化すること。
• 高精度な境界検出器を活用して、Semantic Segmentation や領域候補生成といった上位レベルのビジョンタスクの性能を向上させること。

提案手法

• VGGに基づく、重みを共有し、スコアの後段融合を採用するマルチスケールの深層教師ありネットワーク（DSN）アーキテクチャを採用し、スケール間での特徴表現を強化する。
• トレーニング中に境界画素に重点を置くように変更された損失関数を導入し、エッジ詳細への感受性を向上させる。
• ImageNet や PASCAL VOC からの外部学習データを活用してネットワークを事前学習およびファインチューニングし、一般化性能と精度を向上させる。
• DenseCRF推論に正規化カットの固有ベクトルを追加特徴として統合し、空間的一致性と境界に配慮したセグメンテーションを向上させる。
• 境界強度に依存するペairwiseポテンシャルを用いたグラフカットの後処理を適用し、セグメンテーション結果を精緻化する。
• Caffe深層学習フレームワーク内にフルシステムを実装し、320×420画像あたり1秒未満のリアルタイム推論を実現している。

実験結果

リサーチクエスチョン

• RQ1 標準ベンチマーク上で人間レベルの性能を超えるために、深層学習が境界検出タスクに効果的に適応可能か？
• RQ2 マルチスケール特徴学習と深層教師あり学習は、単一スケールアプローチと比較して、境界検出精度をどのように向上させるか？
• RQ3 古典的手法（例：正規化カット）は、境界検出における深層ニューラルネットワークの予測をどの程度向上させられるか？
• RQ4 高精度な境界検出器は、Semantic Segmentation や領域候補生成といった下流タスクの性能向上に活用可能か？

主な発見

• 提案手法は、Berkeley Segmentation Dataset において、最適なデータセットスケールFスコア0.813を達成し、人間の性能（F=0.803）を上回っている。
• 画像固有のしきい値設定（最適画像スケール）を用いることで、Fスコアは0.8308に達し、多様な画像にわたる頑健性を示している。
• DenseCRF推論に正規化カット固有ベクトルを統合することで、PASCAL VOC 2012テストセットにおけるSemantic Segmentationの平均正答率が74.8%から75.4%に向上した。
• 境界に配慮したペairwise項を有するグラフカット後処理を適用することで、正答率はさらに75.7%に上昇し、境界に配慮した精緻化の価値を示している。
• 320×420の画像を1秒未満で処理でき、Caffeフレームワーク内でのリアルタイム推論能力を実証している。
• 境界検出器は、Semantic Segmentation や領域候補生成の性能を顕著に向上させ、中レベルビジョンコンponentとしての有効性を検証した。