[論文レビュー] Deep Hierarchical Parsing for Semantic Segmentation

Abhishek Sharma, Oncel Tuzel+1 more|arXiv (Cornell University)|Mar 9, 2015

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 15

ひとこと要約

本稿では、再帰的コンテキスト伝播ネットワーク（RCPN）を拡張することで、意味セグメンテーションのためのディープ階層的パースを提案する。主な革新は以下の2点である：(1) パースツリーの純粋ノード（pure-nodes）に対して分類損失を組み込むことで、バイパスエラー経路を軽減し、コンテキスト学習を向上させる。 (2) パースツリーのノード間の階層的依存関係をモデル化するため、木構造のマルコフ連鎖場（MRF）を導入する。得られたモデル、TM-RCPNは、スタンフォード背景、SIFT-Flow、ダイムラー都市データセットにおいて、画素単位の正確性と平均クラス正確性の面で顕著な向上を達成し、リアルタイム推論の可能性を維持している。

ABSTRACT

This paper proposes a learning-based approach to scene parsing inspired by the deep Recursive Context Propagation Network (RCPN). RCPN is a deep feed-forward neural network that utilizes the contextual information from the entire image, through bottom-up followed by top-down context propagation via random binary parse trees. This improves the feature representation of every super-pixel in the image for better classification into semantic categories. We analyze RCPN and propose two novel contributions to further improve the model. We first analyze the learning of RCPN parameters and discover the presence of bypass error paths in the computation graph of RCPN that can hinder contextual propagation. We propose to tackle this problem by including the classification loss of the internal nodes of the random parse trees in the original RCPN loss function. Secondly, we use an MRF on the parse tree nodes to model the hierarchical dependency present in the output. Both modifications provide performance boosts over the original RCPN and the new system achieves state-of-the-art performance on Stanford Background, SIFT-Flow and Daimler urban datasets.

研究の動機と目的

• RCPNアーキテクチャにおけるバイパスエラー経路が、学習中の効果的なコンテキスト伝播を妨げる要因となるのを是正すること。
• ランダムパースツリー内の内部ノード（純粋ノード）の予測を追加の監視情報として活用することで、特徴表現と一般化性能を向上させること。
• 内部ノードからの推定ラベル分布に基づいて、木構造のMRFを用いてパースツリーのノード間の階層的依存関係をモデル化すること。
• 元のRCPNフレームワークの高速性を保ちながら、意味セグメンテーション分野で最先端の性能を達成すること。

提案手法

• ランダム二分パースツリー内の内部ノード（特に単一の意味的カテゴリに該当する純粋ノード）の分類損失を含む修正された損失関数を導入し、勾配を強化し、コンテキスト伝播のバイパスを防ぐ。
• 純粋ノードからの予測ラベル分布を事前知識として用い、パースツリーのノード上に木構造のMRFを定義し、予測の階層的整合性を強制する。
• 構造化された計算グラフを介したバックプロパゲーションにより、元のRCPNアーキテクチャに加え、新たな損失関数とMRF推論を統合してエンドツーエンドで学習する。
• 多スケールCNN特徴量を用いて視覚的表現を取得し、その後、セマンティックマッパー、再帰的コンビナリアン、ルート特徴量集約、および再結合器を経て、グローバルコンテキストを広範囲に伝播させる。
• 推論時においてMRF推論を適用し、パースツリー構造における親ノードから子ノードへとラベル整合性を伝搬することで、予測を精緻化する。
• 画素単位の分類正確性を最適化するため、画素レベルの交差エントロピー損失に加え、新たな純粋ノード損失およびMRFベース損失を統合した共同目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 RCPNアーキテクチャにおけるバイパスエラー経路は、コンテキスト特徴の学習をどのように妨げ、性能を低下させるのか？
• RQ2 パースツリー内の内部純粋ノードに対して分類損失を組み込むことで、モデルの一般化性能が向上し、コンテキスト伝播のバイパスが軽減されるか？
• RQ3 パースツリーのノードに木構造のMRFを適用することで、階層的依存関係をモデル化し、予測の一貫性とセグメンテーション正確性がどの程度向上するか？
• RQ4 純粋ノードの監視と木構造MRFの組み合わせにより、標準的な意味セグメンテーションベンチマークで最先端の性能が達成されるか？

主な発見

• 提案された純粋ノードRCPN（PN-RCPN）は、スタンフォード背景データセットで80.9%の画素単位正確性（PPA）と39.1%の平均クラス正確性（MCA）を達成し、元のRCPN（79.6% PPA、33.6% MCA）を上回った。
• 木構造MRFを備えたRCPN（TM-RCPN）は、スタンフォード背景データセットで80.8% PPAと38.4% MCAを達成し、MRF推論による階層的モデリングの有効性を示した。
• ダイムラー都市データセットでは、TM-RCPNが94.5% PPAと90.1% MCAを達成し、ステレオ、深度、マルチフレーム時系列データを活用する先行手法と同等またはそれを上回った。
• リアルタイム推論の可能性を維持しており、NVIDIA Titan Black GPUを用いたリアルタイムスーパーピクセル化を適用した場合、1画像あたりの総推論時間が100ms未満に収まった。
• 純粋ノードの監視により、RCPNが画素単位の多層ネットワークに崩壊するリスクが低下し、深層部の勾配が強化された。
• MRF部品により、ダイムラー都市データセットにおける動的オブジェクト（車両、歩行者）のIoUが73.8%に向上し、複雑で小規模な意味的カテゴリの処理が改善された。