[論文レビュー] Combining the Best of Graphical Models and ConvNets for Semantic Segmentation

Michael Cogswell, Xiao Lin+2 more|arXiv (Cornell University)|Dec 14, 2014

Visual Attention and Saliency Detection参考文献 8被引用数 14

ひとこと要約

本論文は、多様で高再現率のセグメンテーション候補を生成するためのグラフィカルモデルと、PASCAL mean Intersection-over-Union (IOU) 損失を最適化するために特別に訓練された新規のCNN、SegNetを組み合わせた2モジュールフレームワークを提案する。SegNetは粗いセマンティックセグメンテーションを生成し、その後ネットワークによって再順序付けされて最終予測が得られる。PASCAL VOC 2012テストセットでは52.5%のIOUを達成し、構造的損失最適化を明示的に設計した最初のCNNとして、重要な貢献を果たしている。

ABSTRACT

We present a two-module approach to semantic segmentation that incorporates Convolutional Networks (CNNs) and Graphical Models. Graphical models are used to generate a small (5-30) set of diverse segmentations proposals, such that this set has high recall. Since the number of required proposals is so low, we can extract fairly complex features to rank them. Our complex feature of choice is a novel CNN called SegNet, which directly outputs a (coarse) semantic segmentation. Importantly, SegNet is specifically trained to optimize the corpus-level PASCAL IOU loss function. To the best of our knowledge, this is the first CNN specifically designed for semantic segmentation. This two-module approach achieves $52.5\%$ on the PASCAL 2012 segmentation challenge.

研究の動機と目的

• 構造的予測タスク（セマンティックセグメンテーションなど）における出力空間の構造が重要であるという課題に対処する。
• 密度的なピクセルレベルアノテーションの限られた可用性を補うために、事前学習済みImageNet特徴量とタスク固有のファインチューニングを活用する。
• グラフィカルモデルによる構造的出力推論と、豊富な特徴抽出を実現するディープラーニングを統合し、文脈情報と局所化性能のトレードオフを回避する。
• 標準的な交差エントロピーではなく、コーパスレベルの構造的損失関数を用いて、セマンティックセグメンテーションに特化して訓練されたCNNアーキテクチャを開発する。

提案手法

• グラフィカルモデル（CRF）が1画像あたり5〜30個の多様で高再現率のセグメンテーション候補を生成し、構造的依存関係を捉える。
• PASCAL IOU損失関数をコーパスレベルで用いて、粗いセマンティックセグメンテーションを出力するエンドツーエンドで訓練された新規CNN、SegNetを提案する。
• 低レベル特徴量のため、ImageNetで事前学習済みの重み（AlexNetから抽出）をSegNetに初期化し、後段の層をPASCALセグメンテーションデータでファインチューニングする。
• SegNetから抽出された特徴量を用いて、解像度の損失なしに包括的な画像推論が可能なように、候補を再順序付けする。
• 再順序付けされた候補の中から最終的なセグメンテーションが選択され、深層特徴量と構造的モデリングが統合される。
• 収束性と性能の向上を図るため、IOUと交差エントロピーのハイブリッド損失を訓練時に用いる。

実験結果

リサーチクエスチョン

• RQ1 IOUのような構造的評価指標を最適化するために、標準的な交差エントロピーではなく、CNNをセマンティックセグメンテーションで有効に訓練できるか？
• RQ2 候補生成にグラフィカルモデルを、再順序付けにディープCNNを組み合わせることで、セグメンテーション性能がどのように向上するか？
• RQ3 セグメンテーションに特化したCNNから学習された特徴量は、一般的な分類特徴量や手作業特徴量に比べて、どの程度優れているか？
• RQ4 2段階パイプライン（候補生成 → 再順序付け）を用いることで、密度予測タスクにおける限られた学習データをより効果的に活用できるか？

主な発見

• 提案手法はPASCAL VOC 2012テストセットで52.5%の平均IOUを達成し、当時の多くの既存手法を上回った。
• コーパスレベルのIOU損失を用いてSegNetを訓練した場合、交差エントロピーのみで訓練した場合に比べて顕著に性能が向上し、タスク固有の損失最適化の重要性を示した。
• IOUと交差エントロピーの線形結合（0.7:0.3）を用いることでさらなる性能向上が得られ、両者の相乗効果が示された。
• SegNet特徴量単体でも49.0%のIOUを達成し、分類ベース特徴量（47.8%）や手作業特徴量（48.1%）を上回り、セグメンテーション表現における優位性を示した。
• SegNet特徴量と[26]の特徴量、分類特徴量を組み合わせることで性能は53%まで向上し、SegNet特徴量が強力かつ相乗効果を示すことを示した。
• アブレーションスタディにより、従来のCNN特徴量や手作業特徴量でさえも、SegNet特徴量が単体で使用されても優れていることが確認された。