[論文レビュー] SAM-helps-Shadow:When Segment Anything Model meet shadow removal

Xiaofeng Zhang, Chaochen Gu+1 more|arXiv (Cornell University)|Jun 1, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、セグメンテーション・アトビング・モデル（SAM）を強力な事前知識として活用し、ゼロショットの影検出および除去を実現する新規の1段階フレームワーク、SAM-helps-Shadowを提案する。SAMのセグメンテーション出力を用いて影の局所化をガイドし、さらに2次的なディープアンフォールディングネットワークを用いて精緻化することで、ISTDおよびSRDデータセットで最先端の性能を達成し、ラベル付きデータへの依存を低減するとともに一般化性能を向上させた。

ABSTRACT

The challenges surrounding the application of image shadow removal to real-world images and not just constrained datasets like ISTD/SRD have highlighted an urgent need for zero-shot learning in this field. In this study, we innovatively adapted the SAM (Segment anything model) for shadow removal by introducing SAM-helps-Shadow, effectively integrating shadow detection and removal into a single stage. Our approach utilized the model's detection results as a potent prior for facilitating shadow detection, followed by shadow removal using a second-order deep unfolding network. The source code of SAM-helps-Shadow can be obtained from https://github.com/zhangbaijin/SAM-helps-Shadow.

研究の動機と目的

• 既存の手法がISTD/SRDのような制限付きデータセットに限定される中で、現実世界の画像における影除去に向けたゼロショット学習の重要性に対応する。
• 大規模なラベル付き影データセットに依存しないようにするため、SAMのゼロショットセグメンテーション機能を活用して影検出を実現する。
• 影検出と除去を統合的に1つのパイプラインに統合することで、効率性と性能を向上させる。
• 影の性質に関するSAMの理解を活用し、影固有のデータで微調整を行わずに、現実世界の画像への一般化性能を向上させる。
• 手動アノテーションやトレーニングの複雑さを最小限に抑える、堅牢でエンド・トゥ・エンドのフレームワークを構築する。

提案手法

• SAMがデフォルトで背景と分類するが、影を前景オブジェクトとして扱うことで、SAMを影検出に適応させる。
• SAMのセグメンテーションマスクを強力な事前知識として活用し、再トレーニングなしにゼロショット推論を可能にする。
• 影除去された画像を段階的に精緻化する2次的なディープアンフォールディングネットワークを設計し、精度向上とテクスチャの詳細保持を実現する。
• 深層アンフォールディングネットワークにSAMマスクを空間的事前知識として統合し、最適化プロセスを制約し、影除去の忠実度を向上させる。
• 豊富な影アノテーションが不要な、ペアドの現実世界画像と影付き画像を用いて、エンド・トゥ・エンドでディープアンフォールディングネットワークをトレーニングする。
• SAMとAIGCベースのインpainting原理の組み合わせ性を活用し、柔軟で文脈に適応した影除去を実現する。

実験結果

リサーチクエスチョン

• RQ1 影固有のデータで微調整を行わずに、SAMを効果的にゼロショット影検出に再利用できるか？
• RQ2 SAMのセグメンテーションマスクを事前知識として用いることで、従来の手法と比較して影検出および除去性能がどのように向上するか？
• RQ3 2次的なディープアンフォールディングネットワークは、影除去の精度および詳細保持にどの程度寄与するか？
• RQ4 提案された1段階フレームワークは、ISTDやSRDのようなベンチマークデータセットを超えて、現実世界の画像にも一般化可能か？
• RQ5 定量的指標および視覚的品質の観点から、最先端の影除去モデルと比較して本手法はどのように差をつけるか？

主な発見

• ISTDデータセットでは、RMSE-allが5.09を達成し、以前の最先端手法であるBijetive（4.78）およびSpA-Former（6.86）を上回り、PSNRは28.85、SSIMは0.959を記録した。
• SRDデータセットでは、RMSE-allが4.79を記録し、Bejetive（4.15）およびSpA-Former（6.86）を上回り、PSNRは30.72、SSIMは0.952を達成した。
• 本手法は強力なゼロショット一般化性能を示し、影ラベル付きデータで微調整を行わずとも、現実世界の画像における影を効果的に除去できた。
• アブレーションスタディの結果、標準的なSAMおよび画像インpaintingベースの手法と比較して、本手法はセグメンテーション精度および影除去品質の両面で優れた性能を示した。
• SAMマスクを空間的事前知識として統合することで、境界の整合性が著しく向上し、影除去画像におけるアーティファクトが低減した。
• 2次的なディープアンフォールディングネットワークは、特に影領域におけるテクスチャおよび色の整合性の保持に寄与し、より高忠実度の結果をもたらした。