[論文レビュー] Deep Object Co-Segmentation

Weihao Li, Omid Hosseini Jafari+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Neural Network Applications参考文献 49被引用数 14

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（CNN）を用いたシアン・エンコーダ・デコーダアーキテクチャであるDeep Object Co-Segmentation（DOCS）を提案する。この手法は、画像ペア間の深層的意味特徴の相互相関を活用することで、共通の物体を同時にセグメンテーションする。複数のデータセットで最先端の性能を達成し、微調整なしに未学習の物体クラスに対しても効果的に一般化できる。

ABSTRACT

This work presents a deep object co-segmentation (DOCS) approach for segmenting common objects of the same class within a pair of images. This means that the method learns to ignore common, or uncommon, background stuff and focuses on objects. If multiple object classes are presented in the image pair, they are jointly extracted as foreground. To address this task, we propose a CNN-based Siamese encoder-decoder architecture. The encoder extracts high-level semantic features of the foreground objects, a mutual correlation layer detects the common objects, and finally, the decoder generates the output foreground masks for each image. To train our model, we compile a large object co-segmentation dataset consisting of image pairs from the PASCAL VOC dataset with common objects masks. We evaluate our approach on commonly used datasets for co-segmentation tasks and observe that our approach consistently outperforms competing methods, for both seen and unseen object classes.

研究の動機と目的

• 複数のオブジェクトクラスが存在し、背景が顕著に異なる状況下で、画像ペア間の共通オブジェクトを共同セグメンテーションする課題に取り組むこと。
• 手作業で設計された特徴や後処理としてのCRF最適化に依存しない、エンドツーエンドで学習可能なディープラーニングフレームワークを構築すること。
• トレーニングデータに存在しない未学習のオブジェクトクラスへの一般化性能を評価すること、特に複雑なマルチクラスのシナリオにおいて。
• PASCAL VOCから抽出した大規模かつ高品質なオブジェクト共同セグメンテーションデータセットを構築し、公開すること。

提案手法

• 同一のエンコーダを2つ用いたシアン・エンコーダ・デコーダアーキテクチャを採用し、各入力画像から深層的意味特徴を抽出する。
• ボトルネック部で局所的な特徴相関を計算する相互相関層を導入し、二つの画像間で意味的に類似した領域を強調する。
• デコーダブランチは、デコンボリューション層を通じて元の画像特徴と相関特徴を統合し、詳細な前景マスクを再構築する。
• ペaired画像の正例マスクに対する教師あり損失関数を用いて、エンドツーエンドでモデルを学習する。
• PASCAL VOCから出発し、共通のオブジェクトクラスに共通のマスクを持つ画像ペアを含む、新しいデータセットを構築した。
• 一般化性能の評価として、PASCALの一部のクラスで学習し、iCosegの未学習クラス（チーター、パンダ、熱気球など）でテストした。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された特徴やCRF後処理に依存せずに、純粋なCNNアーキテクチャがオブジェクト共同セグメンテーションで最先端の性能を達成できるか？
• RQ2 トレーニング時に見られなかったオブジェクトクラスに対して、共同セグメンテーションモデルはどの程度一般化できるか、特にマルチオブジェクトの複雑なシーンにおいて。
• RQ3 相互相関層が、画像ペア間の特徴マッチングとセグメンテーション精度を向上させるにあたり、果たす貢献度はいかほどか？
• RQ4 提案手法は、クラス内変動が大きく、背景が多様なデータセットを含む標準ベンチマークにおいて、既存の共同セグメンテーション手法を上回る性能を示すか？

主な発見

• 未学習のオブジェクトクラスを含むiCosegデータセットにおいて、DOCSは平均Jaccardスコア84.2を達成し、比較された4つの最先端手法をすべて上回った。
• 未学習クラス「brownbear」において、DOCSはJaccardスコア91.5を達成し、次に良い手法（[11]の92.0）よりも顕著に高い性能を示した（ただし、本研究では91.5が最高）。
• 相互相関層の導入により、Pascal VOCではJaccardスコアが49.9から64.5に14.6ポイント向上し、MSRCでは72.0から82.9に10.9ポイント向上した。
• PASCALのオブジェクトクラスをたった10種類で学習した場合でも、DOCSはiCosegの未学習クラスで平均Jaccardスコア83.9を達成し、強力な少数ショット一般化性能を示した。
• MSRCデータセットでは、DOCSがJaccardスコア82.9を達成し、前回の最良手法を10.9ポイント上回った。
• 定性的な結果から、DOCSはスケール、ポーズ、視点、背景の大きな変化に対しても、共通オブジェクトを正確にセグメンテーションできていることが示された。