[論文レビュー] Instance Shadow Detection

Tianyu Wang, Xiaowei Hu+3 more|arXiv (Cornell University)|Nov 16, 2019

Video Surveillance and Tracking Methods参考文献 62被引用数 6

ひとこと要約

本稿では、シャドウとオブジェクトのインスタンスを同時に検出し、それらを関連付けるという新しいタスク、インスタンスシャドウ検出を紹介する。3,623組のシャドウ・オブジェクトペアを含むSOBAデータセットと、インスタンス、関連付け、光の方向をエンドツーエンドで予測するLISAフレームワークを提案する。主な貢献は新しい評価指標SOAPの導入であり、光の方向推定や一貫性のあるシャドウ転送を実現する写真編集への応用が実証されている。

ABSTRACT

Instance shadow detection is a brand new problem, aiming to find shadow instances paired with object instances. To approach it, we first prepare a new dataset called SOBA, named after Shadow-OBject Association, with 3,623 pairs of shadow and object instances in 1,000 photos, each with individual labeled masks. Second, we design LISA, named after Light-guided Instance Shadow-object Association, an end-to-end framework to automatically predict the shadow and object instances, together with the shadow-object associations and light direction. Then, we pair up the predicted shadow and object instances, and match them with the predicted shadow-object associations to generate the final results. In our evaluations, we formulate a new metric named the shadow-object average precision to measure the performance of our results. Further, we conducted various experiments and demonstrate our method's applicability on light direction estimation and photo editing.

研究の動機と目的

• 画像内における個々のシャドウとオブジェクトのインスタンス、およびそれらの関連付けを検出するための専用のベンチマークと手法の不足に対処すること。
• 1,000枚の画像と3,623組のラベル付きシャドウ・オブジェクトインスタンスペアを含む、新しいデータセットSOBAの開発。各ペアにはシャドウ、オブジェクト、関連付けの個別マスクが付与されている。
• シャドウとオブジェクトインスタンスマスク、それらの関連付け、および光の方向を同時に予測するエンドツーエンドのディープラーニングフレームワークLISAの設計。
• インスタンスシャドウ検出のパフォーマンスを定量的に測定するための新しい評価指標、シャドウ・オブジェクト平均適合率（SOAP）の定式化。
• 光の方向推定や、オブジェクトとそのシャドウを完全に削除するなど、一貫性のあるシャドウ転送を実現するインテリジェントな写真編集への実用的応用の提示。

提案手法

• SOBAデータセットは1,000枚の画像から構成され、各画像にシャドウインスタンス、オブジェクトインスタンス、シャドウ・オブジェクト関連付けペアの3種類のインスタンスマスクが、それぞれ固有の色でラベル付けされている。
• LISAフレームワークはエンドツーエンドのディープラーニングモデルであり、同時に予測するタスクとして：(1) シャドウおよびオブジェクトインスタンスのバウンディングボックスとマスク、(2) シャドウ・オブジェクト関連付けのバウンディングボックス、(3) 各関連付けの光の方向を含む。
• 後処理モジュールは、予測されたシャドウとオブジェクトインスタンスを空間的近接性と予測された関連付けボックスとの一致に基づいてペアリングする。
• マスク予測、ボックス回帰、光の方向推定の各タスクに特化したヘッドを共有バックボーン特徴と組み合わせたマルチタスク学習戦略を採用している。
• 光の方向は、オブジェクトの中心からシャドウの中心へのベクトルを代理として用い、シャドウとオブジェクトインスタンスの幾何的関係から推定する。
• インスタンスセグメンテーションヘッドとライトガイドドアテンションモジュールを活用することで、関連付けの正確性とロバスト性が向上している。

実験結果

リサーチクエスチョン

• RQ1 シャドウとそれに関連するオブジェクトのインスタンスレベルの詳細なアノテーションを備えた新しいデータセットを、インスタンスシャドウ検出を支援するために効果的に構築できるか？
• RQ2 エンドツーエンドのディープラーニングフレームワークが、シャドウとオブジェクトインスタンス、それらの関連付け、光の方向を高い精度で同時に予測できるか？
• RQ3 新しい評価指標SOAPが、インスタンスシャドウ検出のパフォーマンスを信頼性があり意味のある定量的評価で提供できるか？
• RQ4 予測されたシャドウ・オブジェクト関連付けと光の方向が、光の方向推定や写真編集などの後続応用で効果的に活用できるか？
• RQ5 新しいSOBAベンチマーク上で、提案手法はベースライン手法と比較してインスタンス検出および関連付けの正確性において優れているか？

主な発見

• SOBAデータセットには1,000枚の画像が含まれ、3,623組のユニークなシャドウ・オブジェクトインスタンスペアが存在し、各ペアはシャドウ、オブジェクト、関連付けの3種類の明確なマスクでラベル付けされている。
• LISAフレームワークはSOBAベンチマークで最先端のパフォーマンスを達成しており、多様なシーンやシャドウタイプにわたる強力な一般化能力を示している。
• 提案されたSOAP指標により、信頼性のある定量的評価が可能となり、LISAがベースライン手法よりもインスタンス検出および関連付けの正確性の両面で優れていることが示された。
• 予測された光の方向は、実世界の照明と整合しており、テスト画像における実際のシャドウと一致する仮想シャドウのレンダリングによって検証された。
• 写真編集タスクでは、オブジェクトとその関連シャドウを完全に削除でき、従来の手法で見られる残像シャドウの問題を回避できた。
• 本手法は光に配慮したオブジェクト転送をサポートしており、推定された光の方向に従ってシャドウを調整することで、視覚的に一貫性のある編集が可能になった。