[논문 리뷰] Deep Image Matting

Ning Xu, Brian Price외 2명|arXiv (Cornell University)|2017. 03. 10.

Image Enhancement Techniques참고 문헌 23인용 수 33

한 줄 요약

이 논문은 컨volutional 인코더-디코더 네트워크와 리파인먼트 네트워크를 조합한 딥러닝 기반 이미지 매트팅 방법을 제안한다. 저수준 특징과 고수준 맥락을 모두 활용하여 벤치마크 데이터셋과 실제 이미지에서 최신 기술 수준의 성능을 달성하며, 특히 전경과 배경의 색상이 유사하거나 복잡한 무늬를 가진 어려운 상황에서도 뛰어난 성능을 보인다.

ABSTRACT

Image matting is a fundamental computer vision problem and has many applications. Previous algorithms have poor performance when an image has similar foreground and background colors or complicated textures. The main reasons are prior methods 1) only use low-level features and 2) lack high-level context. In this paper, we propose a novel deep learning based algorithm that can tackle both these problems. Our deep model has two parts. The first part is a deep convolutional encoder-decoder network that takes an image and the corresponding trimap as inputs and predict the alpha matte of the image. The second part is a small convolutional network that refines the alpha matte predictions of the first network to have more accurate alpha values and sharper edges. In addition, we also create a large-scale image matting dataset including 49300 training images and 1000 testing images. We evaluate our algorithm on the image matting benchmark, our testing set, and a wide variety of real images. Experimental results clearly demonstrate the superiority of our algorithm over previous methods.

연구 동기 및 목표

• 이전의 이미지 매트팅 방법이 전경과 배경의 색상이 유사하거나 무늬가 복잡한 경우에 어려움을 겪는 한계를 해결한다.
• 이전 방법들이 저수준 특징에만 의존하는 점을 개선하기 위해 고수준 맥락 정보를 통합한다.
• 에지가 선명하고 정확한 값이 되도록 알파 매트를 동시에 예측하고 리파인하는 딥러닝 프레임워크를 개발한다.
• 모델 훈련과 평가를 위한 강력한 지원을 제공하기 위해 49,300장의 훈련 이미지와 1,000장의 테스트 이미지를 포함한 대규모 이미지 매트팅 데이터셋을 구축한다.

제안 방법

• 입력 이미지와 해당 트림랩을 받아 초깃값 알파 매트를 예측하는 딥 컨볼루션 인코더-디코더 네트워크를 사용한다.
• 초기 알파 매트 예측의 정확도와 에지 선명도를 향상시키기 위해 소형 전용 컨볼루션 네트워크를 통합한다.
• 트림랩을 조건부 입력으로 사용하여 네트워크가 전경과 배경 영역을 구분하도록 유도한다.
• 예측된 알파 매트와 진짜값 간의 차이를 최소화하는 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 인코더-디코더 아키텍처에서의 계층적 특징 학습을 통해 저수준 이미지 세부 정보와 고수준 의미적 맥락을 모두 활용한다.
• 일반화 능력과 모델의 강건성을 향상시키기 위해 49,300장의 훈련 이미지와 1,000장의 테스트 이미지를 포함한 대규모 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 저수준 특징만을 사용하는 기존의 딥러닝 모델이 전경과 배경의 색상 대비가 낮은 경우에 이미지 매트팅 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 저수준 특징에만 의존하는 모델에 비해 고수준 맥락적 특징이 알파 매트 예측 정확도에 얼마나 기여하는가?
• RQ3 초기 예측 후 리파인먼트를 거치는 이중 단계 접근 방식이 단일 단계 방법에 비해 더 나은 에지 품질과 정확한 알파 값 예측을 제공하는가?
• RQ4 이러한 제안된 방법은 통제된 벤치마크 데이터셋 외의 실제 이미지에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 표준 이미지 매트팅 벤치마크에서 이전 최신 기술 수준의 방법들을 능가하는 뛰어난 성능을 달성한다.
• 이전 방법이 실패하기 쉬운 전경과 배경 색상이 유사한 이미지 처리에 있어 모델이 상당한 향상을 보인다.
• 리파인먼트 네트워크는 예측된 알파 매트의 에지 선명도를 효과적으로 향상시키고 블러를 감소시킨다.
• 49,300장의 훈련 이미지와 1,000장의 테스트 이미지를 포함한 대규모 데이터셋 덕분에 더 강력한 훈련과 신뢰할 수 있는 평가가 가능해졌다.
• 벤치마크 및 실제 이미지에 대한 정량적 결과는 다양한 어려운 상황에서 모델의 효과성을 확인한다.