[논문 리뷰] Instance Segmentation based Semantic Matting for Compositing Applications

Guanqing Hu, James J. Clark|arXiv (Cornell University)|2019. 04. 10.

Image Enhancement Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 인스턴스 세분화와 이미지 매트팅을 통합하여 사용자 상호작용 없이 자연 풍경에서 고품질의 이미지 복합을 위한 완전 자동화된 방법을 제안한다. Mask R-CNN을 사용해 인스턴스 검출을 수행하고 피드백 기반 트림랩 생성 전략을 적용함으로써, 기존 방법보다 경계 정확도와 다중 객체 편집에 대한 유연성이 뛰어난 인스턴스별 매트를 생성한다.

ABSTRACT

Image compositing is a key step in film making and image editing that aims to segment a foreground object and combine it with a new background. Automatic image compositing can be done easily in a studio using chroma-keying when the background is pure blue or green. However, image compositing in natural scenes with complex backgrounds remains a tedious task, requiring experienced artists to hand-segment. In order to achieve automatic compositing in natural scenes, we propose a fully automated method that integrates instance segmentation and image matting processes to generate high-quality semantic mattes that can be used for image editing task. Our approach can be seen both as a refinement of existing instance segmentation algorithms and as a fully automated semantic image matting method. It extends automatic image compositing techniques such as chroma-keying to scenes with complex natural backgrounds without the need for any kind of user interaction. The output of our approach can be considered as both refined instance segmentations and alpha mattes with semantic meanings. We provide experimental results which show improved performance results as compared to existing approaches.

연구 동기 및 목표

• 복잡한 배경으로 인해 기존의 크로마키 기반 기법이 어려운 자연 풍경에서 완전 자동화된 이미지 복합을 가능하게 하기 위해.
• 기존 딥러닝 모델에서의 굵은 세분화 마스크의 한계를 보완하기 위해 이미지 매트팅을 활용해 객체 경계를 정밀하게 개선하기 위해.
• 사용자 상호작용 없이 인스턴스 세분화 출력에서 자동으로 트림랩을 생성함으로써 이미지 매트팅의 사용자 참여를 제거하기 위해.
• 개별 인스턴스 정체성을 유지하고 영향을 미치는 다소의 복합 작업을 지원할 수 있는 의미론적 알파 매트를 생성하기 위해.
• 운동 흐림, 투명도, 동일 카테고리의 겹치는 객체와 같은 도전적인 케이스에서 성능을 향상시키기 위해.

제안 방법

• 먼저 Mask R-CNN을 적용하여 개별 객체 인스턴스를 검출하고 바운딩 박스 및 인스턴스 마스크를 생성한다.
• 인스턴스 마스크에서 피드백 기반 트림랩 생성 전략을 적용하여 객체 경계 주변의 전경, 배경, 알 수 없는 영역을 생성한다.
• 생성된 트림랩과 원본 RGB 이미지를 딥 이미지 매트팅 네트워크에 입력하여 개별 객체별 알파 매트를 예측한다.
• 매트 품질을 객체 경계에서 향상시키기 위해 반복 피드백을 포함한 다단계 정밀화 과정을 사용한다.
• 각 검출된 객체의 의미론적 클래스 레이블과 공간적 위치를 활용해 개별 매트 생성을 안내한다.
• 최종 출력은 새로운 배경과 복합하기에 적합한 고품질의 의미론적 인식 알파 매트 세트이다.

실험 결과

연구 질문

• RQ1 사용자 입력 없이 인스턴스 세분화를 활용해 이미지 매트팅을 위한 트림랩을 자동으로 생성할 수 있는가?
• RQ2 인스턴스 세분화와 매트팅을 통합함으로써, 독립적인 세분화나 매트팅 기법에 비해 경계 정확도가 어떻게 향상되는가?
• RQ3 제안된 방법은 동일한 의미론적 카테고리의 다수 객체가 포함된 복잡한 시나리오를 다룰 수 있으며, 개별 인스턴스 정체성을 유지할 수 있는가?
• RQ4 기존의 반자동화 또는 사용자 가이드 매트팅 기법과 비교해, 완전 자동화된 방법의 성능은 어떻게 되는가?
• RQ5 큰 투명 영역이나 낯선 객체 카테고리 처리에서 이 방법의 한계는 무엇인가?

주요 결과

• 제안된 방법은 COCO 데이터셋 이미지에서 최신 기술인 의미론적 소프트 세분화 및 스펙트럴 매트팅과 비교해 유사한 성능을 달성하며, 특히 경계 세부 사항과 운동 흐림 처리에서 뛰어난 성능을 보인다.
• 이미지 4에서, 다른 방법들이 이를 구분하지 못하는 가운데, 이 방법은 사람의 어깨에 있는 어두운 영역을 배경으로 정확히 식별한다.
• 이미지 5에서, 이 방법은 오른쪽 팔의 운동 흐림을 성공적으로 포착한다. 이는 의미론적 소프트 세분화나 스펙트럴 매트팅이 달성하지 못한 능력이다.
• 동일 카테고리의 다수 인스턴스가 포함된 시나리오(예: 여러 명의 사람)에서, 이 방법은 의미론적 세분화에 의존하는 방법들과 달리 개별 인스턴스 간의 분리를 유지한다.
• 한쪽 손이 검출되지 않은 경우에도 시각적으로 정확한 복합 결과를 생성함으로써, 검출 오류에 대한 강건성을 보여준다.
• 한계점으로는 흐릿하거나 투명한 영역에서 잘못된 매트 예측(예: 풀이 수도꼭지 경계로 오해됨)이 발생하고, 낯선 객체 카테고리에서는 성능 저하가 발생한다.