[論文レビュー] Instance Segmentation based Semantic Matting for Compositing Applications

Guanqing Hu, James J. Clark|arXiv (Cornell University)|Apr 10, 2019

Image Enhancement Techniques参考文献 10被引用数 6

ひとこと要約

この論文では、インスタンスセグメンテーションと画像マットングを統合することで、ユーザーの操作なしに高品質な画像合成を実現する完全自動の手法を提案している。Mask R-CNNを用いたインスタンス検出とフィードバックに基づくトリマップ生成戦略により、境界の正確性と複数オブジェクト編集の柔軟性に優れた、インスタンス固有のマットを生成する。

ABSTRACT

Image compositing is a key step in film making and image editing that aims to segment a foreground object and combine it with a new background. Automatic image compositing can be done easily in a studio using chroma-keying when the background is pure blue or green. However, image compositing in natural scenes with complex backgrounds remains a tedious task, requiring experienced artists to hand-segment. In order to achieve automatic compositing in natural scenes, we propose a fully automated method that integrates instance segmentation and image matting processes to generate high-quality semantic mattes that can be used for image editing task. Our approach can be seen both as a refinement of existing instance segmentation algorithms and as a fully automated semantic image matting method. It extends automatic image compositing techniques such as chroma-keying to scenes with complex natural backgrounds without the need for any kind of user interaction. The output of our approach can be considered as both refined instance segmentations and alpha mattes with semantic meanings. We provide experimental results which show improved performance results as compared to existing approaches.

研究の動機と目的

• 複雑な背景が従来のクロマキー法を困難にする自然なシーンにおける完全自動の画像合成を可能にすること。
• 既存のディープラーニングモデルにおける粗いセグメンテーションマスクの限界を、画像マットングを用いてオブジェクト境界を精緻化することで解決すること。
• インスタンスセグメンテーションの出力から自動的にトリマップを生成することで、画像マットングにおけるユーザー操作を排除すること。
• 個々のインスタンスの同一性を保持し、柔軟な合成操作を可能にするセマンティックなアルファマットを生成すること。
• 運動ブラー、透過性、同じカテゴリの重複オブジェクトといった困難なケースにおける性能向上を図ること。

提案手法

• まず、Mask R-CNNを用いて個々のオブジェクトインスタンスを検出し、バウンディングボックスとインスタンスマスクを生成する。
• インスタンスマスクから、フィードバックに基づくトリマップ生成戦略を適用し、オブジェクト境界周辺の前景、背景、未知領域を生成する。
• 生成されたトリマップと元のRGB画像を、ディープラーニングベースの画像マットングネットワークに供給し、個々のインスタンスごとのアルファマットを予測する。
• マットングネットワークは、境界部のマット品質を向上させるために、反復的フィードバックを用いたマルチステージの精緻化プロセスを採用する。
• 各検出オブジェクトのための個別的なマット生成を、インスタンスセグメンテーションから得られるセマンティッククラスラベルと空間的位置情報がガイドする。
• 最終的な出力は、新しい背景との合成に適した高品質でセマンティックに注意を払ったアルファマットの集合である。

実験結果

リサーチクエスチョン

• RQ1 ユーザー入力なしに、インスタンスセグメンテーションを用いて画像マットング用のトリマップを自動生成できるか？
• RQ2 インスタンスセグメンテーションとマットングを統合することで、単独のセグメンテーションやマットング手法と比較して境界の正確性がどのように向上するか？
• RQ3 同じセマンティックカテゴリの複数オブジェクトが存在する複雑なシーンにおいて、本手法は個々のインスタンスの同一性を保持できるか？
• RQ4 完全自動手法の性能は、既存のセミ自動的またはユーザー支援型マットング技術と比較してどうなるか？
• RQ5 本手法は、大きな透過領域や未知のオブジェクトカテゴリの処理において、どのような限界を示すか？

主な発見

• 本手法は、COCOデータセットの画像において、最先端のセマンティックソフトセグメンテーションおよびスペクトルマットングと同等の性能を達成しており、特に境界の詳細や運動ブラーの処理において優れた性能を示している。
• 画像4では、人物の肩にある暗い領域を正しく背景と特定しているのに対し、他の手法はその区別に失敗している。
• 画像5では、右腕の運動ブラーを正しく捉えているが、これはセマンティックソフトセグメンテーションやスペクトルマットングでは達成できていない能力である。
• 複数の同じカテゴリのインスタンス（例：複数の人物）が存在するシーンでは、本手法は個々のインスタンスの分離を維持しているのに対し、単独のセマンティックセグメンテーションに依存する手法とは異なり、分離が不十分である。
• 片方の手が検出されなくても、本手法は視覚的に正しい合成結果を生成しており、検出エラーに対しても頑健であることが示された。
• 限界として、曇った領域や透過領域では誤ったマット予測が生じる（例：芝生がホースの境界として誤認される）、および未知のオブジェクトカテゴリでは性能が低下することがある。