[논문 리뷰] Context-Aware Image Matting for Simultaneous Foreground and Alpha Estimation

Qiqi Hou, Feng Liu|arXiv (Cornell University)|2019. 09. 20.

Image Enhancement Techniques참고 문헌 51인용 수 11

한 줄 요약

이 논문은 단일 자연 이미지에서 전경 및 알파 매트릭스 추정을 위한 컨텍스트 인식 딥러닝 프레임워크를 제안한다. 두 개의 인코더와 두 개의 디코더로 구성된 아키텍처를 통해 국소적 특징과 전역적 맥락을 융합한다. 라플라시안 손실과 인지적 특징 손실의 조합에 더해 효과적인 데이터 증강 기법을 통해, 합성 데이터로 훈련된 실세계 이미지에 대해서도 고품질이고 시각적으로 타당한 매트릭스 결과를 도출함으로써 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Natural image matting is an important problem in computer vision and graphics. It is an ill-posed problem when only an input image is available without any external information. While the recent deep learning approaches have shown promising results, they only estimate the alpha matte. This paper presents a context-aware natural image matting method for simultaneous foreground and alpha matte estimation. Our method employs two encoder networks to extract essential information for matting. Particularly, we use a matting encoder to learn local features and a context encoder to obtain more global context information. We concatenate the outputs from these two encoders and feed them into decoder networks to simultaneously estimate the foreground and alpha matte. To train this whole deep neural network, we employ both the standard Laplacian loss and the feature loss: the former helps to achieve high numerical performance while the latter leads to more perceptually plausible results. We also report several data augmentation strategies that greatly improve the network's generalization performance. Our qualitative and quantitative experiments show that our method enables high-quality matting for a single natural image. Our inference codes and models have been made publicly available at https://github.com/hqqxyy/Context-Aware-Matting.

연구 동기 및 목표

• 단일 이미지 자연 이미지 매트릭싱의 불안정한 성격을 해결하기 위해 전경과 알파 매트릭스를 동시에 추정하고자 한다.
• 국소적 시각적 세부 정보와 전역적 맥락 정보를 통합함으로써 매트릭싱 품질을 향상시키고자 한다.
• 기존 딥러닝 방법들이 전경을 재구성하지 않고 알파 매트릭스만 예측하는 데서 비롯되는 한계를 극복하고자 한다.
• 합성 데이터셋으로 훈련된 후에도 실세계 이미지에 대한 일반화 능력을 향상시키고자 한다.
• 손실 설계와 데이터 증강을 통해 인지적으로 우수하고 수치적으로 정확한 매트릭싱 결과를 달성하고자 한다.

제안 방법

• 이 방법은 두 개의 인코더와 두 개의 디코더를 갖춘 완전 컨volution 신경망을 사용한다: 매트릭싱 인코더는 국소적 특징을 캡처하고, 컨텍스트 인코더는 전역적 맥락을 캡처한다.
• 두 인코더의 특징은 결합되어 전경 이미지 및 알파 매트릭스 예측을 위한 별도의 디코더로 공급된다.
• 네트워크는 수치 정확도를 위해 라플라시안 손실과 인지적 품질을 위해 특징 손실의 조합을 사용해 훈련된다.
• 재-JPEGING 및 가우시안 블러링과 같은 데이터 증강 전략을 적용하여 실세계 이미지의 변형에 대한 강건성을 향상시킨다.
• 모델은 Xu 등 [52]의 합성 데이터셋으로 훈련되었지만, 실세계 테스트 이미지로도 효과적으로 일반화된다.
• 추론 코드와 훈련된 모델은 재현 가능성과 향후 연구를 위해 GitHub에 공개되어 있다.

Figure 1: Real-world image matting. Our method is able to simultaneously estimate high-quality foreground images and alpha maps from real-world images although trained on a synthetic dataset. Our results keep final structures (the top example) while being free from the common color bleeding problem

실험 결과

연구 질문

• RQ1 딥러닝 모델이 단일 자연 이미지에서 동시에 전경 이미지와 알파 매트릭스를 추정할 수 있는가?
• RQ2 국소적 특징과 전역적 특징을 통합할 경우, 국소적 특징에만 의존하는 방법에 비해 매트릭싱 성능이 어떻게 향상되는가?
• RQ3 라플라시안 손실과 특징 손실을 조합함으로써 수치적 정확도와 인지적 품질이 얼마나 향상되는가?
• RQ4 합성 데이터로 훈련된 데이터 증강 전략이 실세계 매트릭싱 과제에 효과적으로 일반화될 수 있는가?
• RQ5 시각적 정밀도와 사용자 선호도 측면에서 제안된 방법은 최신 기술 수준의 비딥러닝 및 딥러닝 매트릭싱 방법과 어떻게 비교되는가?

주요 결과

• 유저 스터디에서 Global Matting [19]와 비교해 평균 선호도 비율 85.48%를 기록하며 강력한 인지적 우수성을 입증한다.
• Closed-form Matting [27]와 비교해 84.11%의 선호도 비율을 기록하며, 비딥러닝 SOTA 방법에 비해 일관된 사용자 선호도를 보였다.
• Deep Matting [52]를 77.67%의 선호도 비율로 압도하며, 전경과 알파 매트릭스를 동시에 추정하는 것이 더 나은 시각적 결과를 이끌어낸다는 것을 입증했다.
• 라플라시안 손실과 특징 손실의 조합은 높은 수치 정확도와 향상된 인지적 품질을 동시에 달성하며, 특히 털이나 레이스 같은 미세한 구조 처리에 유리하다.
• Re-JPEGING 및 가우시안 블러링과 같은 데이터 증강 기법은 합성 데이터로 훈련된 후에도 실세계 이미지로의 일반화 능력을 크게 향상시킨다.
• 색상 번짐 등의 일반적인 문제를 효과적으로 완화하고, 도전적인 실세계 사례에서의 정성적 비교를 통해 미세한 세부 정보를 잘 유지함을 입증했다.

Figure 2: The architecture of our matting network. We design a two-encoder-two-decoder network. The matting encoder and the context encoder capture both visual features and more global context information. The features from these two encoders are concatenated and feed to the foreground and the alpha