[論文レビュー] Joint Object and Part Segmentation using Deep Learned Potentials

Peng Wang, Xiaohui Shen+4 more|arXiv (Cornell University)|May 1, 2015

Advanced Neural Network Applications参考文献 55被引用数 27

ひとこと要約

本論文は、意味的構成的パーツ（SCP）と完全連結CRF（FCRF）を用いた、同時的な意味的オブジェクトおよびパーツセグメンテーションのための共同ディープラーニングフレームワークを提案する。2チャネルのFCNを用いてSCPとオブジェクトの潜在変数を複数の画像スケールで予測し、その後、FCRFを用いて長距離の文脈情報を活用して予測を精緻化することで、従来手法と比較してパーツセグメンテーションで5%以上、オブジェクトセグメンテーションで5.3%のmIOU向上を達成し、最先端の性能を実現した。

ABSTRACT

Segmenting semantic objects from images and parsing them into their respective semantic parts are fundamental steps towards detailed object understanding in computer vision. In this paper, we propose a joint solution that tackles semantic object and part segmentation simultaneously, in which higher object-level context is provided to guide part segmentation, and more detailed part-level localization is utilized to refine object segmentation. Specifically, we first introduce the concept of semantic compositional parts (SCP) in which similar semantic parts are grouped and shared among different objects. A two-channel fully convolutional network (FCN) is then trained to provide the SCP and object potentials at each pixel. At the same time, a compact set of segments can also be obtained from the SCP predictions of the network. Given the potentials and the generated segments, in order to explore long-range context, we finally construct an efficient fully connected conditional random field (FCRF) to jointly predict the final object and part labels. Extensive evaluation on three different datasets shows that our approach can mutually enhance the performance of object and part segmentation, and outperforms the current state-of-the-art on both tasks.

研究の動機と目的

• オブジェクトとパーツセグメンテーションの相互依存性を解消するため、両タスクを統合的にモデリングすることで精度を向上させること。
• 同じオブジェクトカテゴリ間で類似するパーツ（例：馬と牛の脚）のラベル付けの曖昧さを、共有された意味的構成的パーツ（SCP）によって低減すること。
• 完全連結CRF（FCRF）を用いて長距離の文脈的関係を活用し、オブジェクトおよびパーツの予測を精緻化すること。
• 順次処理パイプラインにおける誤差伝搬を回避するため、エンドツーエンドで一貫性を持った方法でオブジェクトおよびパーツセグメンテーションを学習・推論すること。

提案手法

• 異なるオブジェクトクラス間で視覚的・構造的に類似したパーツ（例：馬と牛の脚）をグループ化するため、意味的構成的パーツ（SCP）を導入する。
• 複数の画像スケールでSCPの潜在変数とオブジェクトの潜在変数を予測する2チャネルの完全畳み込みネットワーク（FCN）を学習する。
• SCPの潜在変数とオブジェクトの潜在変数を連結し、追加の畳み込み層を通過させて、統合されたオブジェクトの潜在変数を精緻化する。
• SCPの予測からコンactな領域提案を生成し、それらを完全連結CRF（FCRF）のノードとして用いる。
• FCRFを用いて、長距離の文脈的制約を用いて最終的なオブジェクトおよびパーツラベルを同時に推論し、一貫性を強制する。
• 長距離の依存関係を探索することで、FCRFを用いて予測を精緻化し、境界の正確性を向上させるとともに、局所的な曖昧さを低減する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトとパーツセグメンテーションの共同学習は、逐次的または独立的な手法と比較して、両タスクの性能向上に寄与するか？
• RQ2 共有されたパーツ表現（SCP）は、類似したオブジェクトカテゴリ間でのパーツラベル付けの曖昧さをどのように低減するか？
• RQ3 完全連結CRFによる長距離文脈の統合は、オブジェクトおよびパーツのセグメンテーション精度をどの程度向上させるか？
• RQ4 エンドツーエンドの共同学習と推論は、オブジェクトからパーツセグメンテーションへの誤差伝搬をどのように低減できるか？

主な発見

• 提案手法はオブジェクトセグメンテーションで78.25%のmIOUを達成し、ベースラインのFCN（72.99%）と比較して5.3%の向上を示した。
• 意味的パーツセグメンテーションでは、48.16%のmIOUを達成し、先行研究のHC手法（43.11%）と比較して5.05%の向上を示した。
• 共同FCNとFCRFによる推論を組み合わせた完全モデルは、FCRFを含まないバージョンと比較して、オブジェクトセグメンテーションで4%以上の向上を示し、長距離文脈の価値を裏付けた。
• 統合潜在変数を用いたFCRFは、FCNベースラインと比較して4%の性能向上を示し、グラフィカルモデル推論に適したより良い証拠が得られることを示した。
• 定性的な結果から、モデルはオブジェクトスケールの文脈を活用することで、外見が類似する馬の脚と牛の脚の区別を正しく行うなど、局所的な曖昧さを効果的に解消していることが確認された。
• 誤差伝搬の影響を受けるため、不正確なオブジェクトマスクがパーツラベル付けに悪影響を及げる可能性がある順次パイプライン（例：HC）と比較して、本手法は優れた性能を発揮した。