[論文レビュー] Show, match and segment: Joint learning of semantic matching and object co-segmentation

Yun Chun Chen, Yen‐Yu Lin+2 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Neural Network Applications被引用数 16

ひとこと要約

本稿では、二つのタスクであるセマンティックマッチングとオブジェクト共同セグメンテーションの間で相互に監視を行う共同学習フレームワークを提案する。マッチングから得られる密な対応フィールドがマスクの一貫性を向上させ、オブジェクトマスクがマッチングにおける背景のゴミを低減する。本モデルは、アノテートされた対応点やマスクを必要とせず、5つのベンチマークで最先端の性能を達成するエンドツーエンドの学習が可能である。

ABSTRACT

We present an approach for jointly matching and segmenting object instances of the same category within a collection of images. In contrast to existing algorithms that tackle the tasks of semantic matching and object co-segmentation in isolation, our method exploits the complementary nature of the two tasks. The key insights of our method are two-fold. First, the estimated dense correspondence fields from semantic matching provide supervision for object co-segmentation by enforcing consistency between the predicted masks from a pair of images. Second, the predicted object masks from object co-segmentation in turn allow us to reduce the adverse effects due to background clutters for improving semantic matching. Our model is end-to-end trainable and does not require supervision from manually annotated correspondences and object masks. We validate the efficacy of our approach on five benchmark datasets: TSS, Internet, PF-PASCAL, PF-WILLOW, and SPair-71k, and show that our algorithm performs favorably against the state-of-the-art methods on both semantic matching and object co-segmentation tasks.

研究の動機と目的

• 既存手法がセマンティックマッチングとオブジェクト共同セグメンテーションを独立したタスクとして扱うという制限を解決すること。
• セマンティックマッチングとオブジェクト共同セグメンテーションの相補的性を活用して性能を向上させること。
• 手動でアノテートされた対応点やオブジェクトマスクを必要としないエンドツーエンドで学習可能なモデルを開発すること。
• 共同セグメンテーションの監視によって、背景のゴミがセマンティックマッチングに与える悪影響を軽減すること。
• 多様なベンチマークデータセットにおいて、両タスクを同時に優れた性能で達成すること。

提案手法

• 本手法は、画像ペアにおける予測マスクの整合性を強制することで、セマンティックマッチングから得られる密な対応フィールドを、オブジェクト共同セグメンテーションの監視に用いる。
• オブジェクト共同セグメンテーションの予測結果を用いて背景のゴミを抑制し、セマンティックマッチングのロバスト性と精度を向上させる。
• アノテートされた対応点や真値マスクからの監視を一切用いずに、エンドツーエンドで学習する。
• 共有の特徴エンコーダーが画像ペアを処理し、両方の対応フィールドとセグメンテーションマスクを生成する。
• 損失関数はマッチングとセグメンテーションの目的関数を組み合わせており、タスク間の相互監視が特徴学習を強化する。
• 予測の反復的精錬を通じて、両タスクを同時に最適化できるようにアーキテクチャが設計されている。

実験結果

リサーチクエスチョン

• RQ1 セマンティックマッチングとオブジェクト共同セグメンテーションの間で相互監視を実施することで、両タスクの性能向上が図れるか？
• RQ2 対応フィールドを監視に用いることで、共同セグメンテーションにおけるマスクの一貫性がどのように向上するか？
• RQ3 共同セグメンテーションによって、セマンティックマッチングにおける背景のゴミの悪影響はどの程度軽減されるか？
• RQ4 統合モデルは、マッチングとセグメンテーションの両ベンチマークで、個別に学習したモデルを上回る性能を発揮できるか？
• RQ5 本共同学習設定において、アノテートされた対応点やマスクが欠落していると、性能に悪影響を及えるか？

主な発見

• 提案手法は、TSS、Internet、PF-PASCAL、PF-WILLOW、SPair-71kの5つのベンチマークデータセットで最先端の性能を達成した。
• 共同学習フレームワークにより、独立したアプローチと比較して、セマンティックマッチングとオブジェクト共同セグメンテーションの両方の精度が向上した。
• 手動でアノテートされた対応点やオブジェクトマスクを必要とせず、良好な性能を発揮した。
• 対応フィールドを監視に用いることで、画像ペア間でのマスクの一貫性が向上した。
• オブジェクト共同セグメンテーションの予測結果が、背景のゴミを効果的に低減し、より正確なマッチングを実現した。
• エンドツーエンドの学習スキームにより、タスク間の相互監視を通じて効果的な特徴学習が可能になった。