[論文レビュー] Scene Labeling with Contextual Hierarchical Models

Mojtaba Seyedhosseini, Tolga Taşdizen|arXiv (Cornell University)|Feb 4, 2014

Advanced Neural Network Applications参考文献 62被引用数 5

ひとこと要約

本論文は、ダウンサンプルされた入力に基づいて訓練された段階的な分類器の連鎖を通じて、複数の画像解像度における事後確率を最適化する文脈的階層モデル（CHM）を提案する。形状モデルや断片に依存せずにマルチスケールの文脈的特徴を活用することで、シーンラベリング、エッジ検出、および生物学的膜セグメンテーションのタスクにおいて、最先端の性能を達成する。

ABSTRACT

Scene labeling is the problem of assigning an object label to each pixel. It unifies the image segmentation and object recognition problems. The importance of using contextual information in scene labeling frameworks has been widely realized in the field. We propose a contextual framework, called contextual hierarchical model (CHM), which learns contextual information in a hierarchical framework for scene labeling. At each level of the hierarchy, a classifier is trained based on downsampled input images and outputs of previous levels. Our model then incorporates the resulting multi-resolution contextual information into a classifier to segment the input image at original resolution. This training strategy allows for optimization of a joint posterior probability at multiple resolutions through the hierarchy. Contextual hierarchical model is purely based on the input image patches and does not make use of any fragments or shape examples. Hence, it is applicable to a variety of problems such as object segmentation and edge detection. We demonstrate that CHM outperforms state-of-the-art on Stanford background and Weizmann horse datasets. It also outperforms state-of-the-art edge detection methods on NYU depth dataset and achieves state-of-the-art on Berkeley segmentation dataset (BSDS 500).

研究の動機と目的

• シーンラベリングにおける長距離的かつマルチスケールの文脈的情報を統合する課題に取り組みながら、計算の実行可能性を維持すること。
• 段階的な分類器の限界を克服し、マルチスケール処理がなく、解像度間での結合事後確率を最適化できない問題に対処すること。
• 形状の例示やオブジェクトモデルを必要とせず、画像セグメンテーション、エッジ検出、生物学的画像解析など多様なタスクに適用可能な汎用ラベリングフレームワークを開発すること。
• 複数の解像度で段階的に分類器を訓練することで、複雑さを低減しながら文脈的正確性を保持し、効率的な学習と推論を可能にすること。
• 事後処理に依存するのを最小限に抑えるために、階層的精錬によって大規模な文脈的窓を内蔵的にモデル化すること。

提案手法

• ダウンサンプルされた入力画像と、前の段階からの出力を文脈的特徴として用いて、徐々に粗い解像度でのバイナリ分類器を訓練する。
• グリーディに階層的に各解像度レベルで結合事後確率を最適化することで、マルチスケールの文脈的推論を可能にする。
• 事前に定義された形状断片、オブジェクトモデル、またはセグメンテーション提案に依存せず、画像パッチを入力特徴として使用する。
• 複数解像度の予測結果を元の解像度での最終分類器に統合し、高精度なピクセル単位のラベリングを生成する。
• エッジ／非エッジをバイナリ分類タスクとして扱うことで、同じフレームワークをセマンティックシーンラベリングとエッジ検出の両方のタスクに適用する。
• 階層的構造を活用して、段階的に有効な受容 field を拡大し、局所的およびグローバルな文脈を効率的に捉える。

実験結果

リサーチクエスチョン

• RQ1 複数解像度で事後確率を最適化する階層的フレームワークは、単一スケールまたは非階層的手法と比較して、シーンラベリングの精度を向上させることができるか？
• RQ2 パッチベースで断片に依存しないモデルは、セグメンテーションやエッジ検出を含む多様なビジョンタスクで、どれほど最先端の性能を達成できるか？
• RQ3 生物学的画像セグメンテーションタスクにおいて、CHMフレームワークはDNNやConvNetsのようなディープラーニングモデルと比較して、性能と学習効率の面でどう異なるか？
• RQ4 文脈的情報の階層的モデリングは、シーンラベリングパイプラインにおけるCRFのような複雑な後処理技術の必要性を減らすことができるか？
• RQ5 形状モデルや例示の欠如は、CHMの一般化能力を制限するのか、それとも多様なデータセットへの適用可能性を高めるのか？

主な発見

• CHMは、Stanford Backgroundデータセットで、既存の手法を上回る最先端の性能を達成し、シーンラベリングにおいて優れた性能を示す。
• Weizmann Horseデータセットでは、CHMは優れたセグメンテーション精度を達成し、誤検出を効果的に低減し、予測マスクの小さなギャップを埋める。
• NYU Depth（v2）データセットにおけるエッジ検出では、CHMは既存の最先端エッジ検出手法を上回り、実世界の深度画像への一般化能力が強いことを示している。
• Berkeley Segmentation Dataset（BSDS500）では、CHMはエッジ検出で最先端の性能を達成し、多様な画像ドメインにわたる有効性を確認している。
• 生物学的応用において、CHMはISBI 2012 Drosophila VNCチャレンジのテストセットでピクセル誤差0.063を達成した—これは人間ラベリングの誤差（0.066）を下回り、85時間のGPU学習を要する深層ニューラルネットワークをも上回っている。
• CHMはCPU上で30時間で学習が可能であり、深層ニューラルネットワークが要求する85時間のGPU学習時間と比較して、高い精度を維持しながらもはるかに高速であることが示され、その効率性が顕著に表れている。