[論文レビュー] Source-free Depth for Object Pop-out

Zongwei Wu, Danda Pani Paudel+6 more|arXiv (Cornell University)|Dec 10, 2022

Image Enhancement Techniques被引用数 5

ひとこと要約

本論文は、物体が背景面の上に存在すると仮定する3次元的「ポップアウト」事前知識を用いて、深度知識をセマンティックセグメンテーションへ転送するソースフリー領域適応手法を提案する。深度マップからソースデータを一切用いずに、物体と背景の接触面を学習することで、正確なオブジェクト局在化とセマンティック監視を実現し、8つのデータセットにおいて顕著および camouflage オブジェクト検出で最先端の性能を達成した。一般化性能と効率性が向上した。

ABSTRACT

Depth cues are known to be useful for visual perception. However, direct measurement of depth is often impracticable. Fortunately, though, modern learning-based methods offer promising depth maps by inference in the wild. In this work, we adapt such depth inference models for object segmentation using the objects' "pop-out" prior in 3D. The "pop-out" is a simple composition prior that assumes objects reside on the background surface. Such compositional prior allows us to reason about objects in the 3D space. More specifically, we adapt the inferred depth maps such that objects can be localized using only 3D information. Such separation, however, requires knowledge about contact surface which we learn using the weak supervision of the segmentation mask. Our intermediate representation of contact surface, and thereby reasoning about objects purely in 3D, allows us to better transfer the depth knowledge into semantics. The proposed adaptation method uses only the depth model without needing the source data used for training, making the learning process efficient and practical. Our experiments on eight datasets of two challenging tasks, namely camouflaged object detection and salient object detection, consistently demonstrate the benefit of our method in terms of both performance and generalizability.

研究の動機と目的

• ソース学習データにアクセスできない状況下でも、ドメイン間およびタスク間で深度知識をセマンティクスへ転送することを可能にすること。
• ソースドメインが異なり、ラベルが連続的である状況において、深度モデルからセマンティックセグメンテーションへ知識を転送する課題に対処すること。
• ソースフリーの深さ予測のみを用いて、顕著および camouflage オブジェクト検出における一般化性能と性能を向上させること。
• オブジェクトの3次元的構成的事前知識「ポップアウト」を活用して、より良い3次元的推論とセマンティック監視を実現する手法を開発すること。
• データプライバシーの懸念や転送の非効率性を避けるために、事前学習済みの深さモデルのみを用いた効果的な領域適応を達成すること。

提案手法

• 本手法は、ソースフリーの深さマップからオブジェクトポップアウトと接触面予測を同時に学習する新しいネットワークアーキテクチャを導入する。
• 物体が背景面の上に立っているとモデル化することで、「ポップアウト」事前知識を強制し、3次元に注意を向けたオブジェクト-背景分離を可能にする。
• セグメンテーションマスクからの弱い監視によって接触面が学習され、モデルが3次元空間におけるオブジェクト境界を推論できるようにする。
• オブジェクトポップアウトと接触面ネットワークは、深さおよび接触面予測から導出された疑似セグメンテーションマスクを用いて、エンドツーエンドで訓練される。
• 適応段階では推論時にのみ事前学習済みの深さモデルが使用され、適応段階でソースデータが不要になる。
• 中間の3次元に注意を向けた表現を生成することで、深さからセマンティクスへの有効な知識転送を実現する。

Figure 1 : Depth to semantics conversion using the object pop-out prior. For input RGB and source-free depth pair, we learn contact surface. The obtained contact surface is then used to separate objects and backgrounds to derive pseudo semantics for supervision.

実験結果

リサーチクエスチョン

• RQ1 ソース学習データにアクセスできない状況下でも、深度知識をセマンティックセグメンテーションへ有効に転送できるか？
• RQ2 ソースフリーな環境において、3次元的「ポップアウト」事前知識をどのように活用することで、オブジェクト局在化とセマンティック監視を向上させられるか？
• RQ3 物体と背景の接触面を学習することで、リソースが限られた状況やドメインシフトが生じる状況下での深さからセマンティクスへの転送が向上するか？
• RQ4 本手法は、顕著および camouflage オブジェクト検出といった多様なデータセットやタスクに一般化可能か？
• RQ5 RGBのみの手法やRGB-Dベースラインと比較して、ソースフリーの深さマップのみを用いた場合に、本手法が優れた性能を示せるか？

主な発見

• 提案手法は、2つの挑戦的なタスク（顕著オブジェクト検出（SOD）と camouflage オブジェクト検出（COD））において、8つのベンチマークデータセットで最先端の性能を達成した。
• NC4Kデータセットでは、学習に25%のデータしか使用しなくても、F-measureが+0.4%、S-measureが+0.1%向上し、全データで学習されたベースラインを上回った。
• NC4KではM-scoreが0.042、F-measureが0.861を達成し、RGBのみの最良手法（ZoomNet）およびすべての既存のRGB-D手法（ソースフリー深さを用いる）を上回った。
• HAINetではF-measure誤差を0.011、SPNetでは0.010削減し、優れた一般化性能と頑健性を示した。
• 複数オブジェクトのシナリオでも高い性能を維持し、NC4Kで単一オブジェクトではF-measure 0.864、2オブジェクトでは0.847、2つ以上では0.767を達成した。
• 実験の結果、既存のRGB-D手法はソースフリー深さから利益を得られなかったが、本手法はそれらを上回り、現実のドメインシフト環境下でも有効性を実証した。

Figure 2 : The performance gained in F-measure using our method over the established baselines. Our method ( $\blacktriangle$ , $\blacksquare$ ) significantly improves baselines on 8 datasets and 2 tasks (each task on 4 datasets– SOD: left two; COD: right two). We also compare 24 methods ( $\bullet$