[논문 리뷰] Natural Image Matting via Guided Contextual Attention

Yaoyi Li, Hongtao Lu|arXiv (Cornell University)|2020. 01. 13.

Image Enhancement Techniques참고 문헌 40인용 수 6

한 줄 요약

이 논문은 낮은 수준의 이미지 유사도를 지침으로 하여 고수준 알파 특징을 전역적으로 전파하는 가이드드 컨텍스트 추론(GCA) 모듈을 도입한 새로운 엔드 투 엔드 딥 러닝 방법인 GCA Matting을 제안한다. 이 방법은 Composition-1k 및 alphamatting.com 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 반투명 영역에서 미세한 질감과 구조를 잘 유지하는 데 뛰어나다.

ABSTRACT

Over the last few years, deep learning based approaches have achieved outstanding improvements in natural image matting. Many of these methods can generate visually plausible alpha estimations, but typically yield blurry structures or textures in the semitransparent area. This is due to the local ambiguity of transparent objects. One possible solution is to leverage the far-surrounding information to estimate the local opacity. Traditional affinity-based methods often suffer from the high computational complexity, which are not suitable for high resolution alpha estimation. Inspired by affinity-based method and the successes of contextual attention in inpainting, we develop a novel end-to-end approach for natural image matting with a guided contextual attention module, which is specifically designed for image matting. Guided contextual attention module directly propagates high-level opacity information globally based on the learned low-level affinity. The proposed method can mimic information flow of affinity-based methods and utilize rich features learned by deep neural networks simultaneously. Experiment results on Composition-1k testing set and alphamatting.com benchmark dataset demonstrate that our method outperforms state-of-the-art approaches in natural image matting. Code and models are available at https://github.com/Yaoyi-Li/GCA-Matting.

연구 동기 및 목표

• 알파 매트릭스 예측에서 반투명 영역의 흐릿한 질감과 구조 문제를 해결하기 위해.
• 국소적 이미지 유사도를 지침으로 하여 딥 뉴럴 네트워크 내에서 전역적 옹도 정보 전파를 가능하게 하기 위해.
• 기존의 유사도 기반 방법이 고해상도 환경에서 높은 계산 비용을 야기한다는 한계를 극복하기 위해.
• 유사도 기반 매트팅과 딥 러닝 사전 지식의 장점을 융합하여 매트팅 정확도를 향상시키기 위해.
• 전체 해상도 이미지를 효율적으로 처리할 수 있는 확장 가능한 엔드 투 엔드 프레임워크를 개발하기 위해.

제안 방법

• 가이드드 컨텍스트 추론(GCA) 모듈은 학습된 저수준 이미지 유사도를 기반으로 고수준 알파 특징의 전역적 전달을 수행하며, 완전 컨볼루션 네트워크 내에서 유사도 기반 매트팅을 모방한다.
• GCA 모듈은 저수준 이미지 특징을 지침으로 사용하여 외관이 유사한 패치들 간에 고수준 알파 특징을 전파한다.
• 이 방법은 알려진 전경/배경 영역의 0 또는 1 값으로 알려지지 않은 알파 영역을 이미지 지침 하에 메우는 가이드드 인painting 작업으로 간주한다.
• 프레임워크는 이미지 특징과 알파 특징을 별도로 처리하는 인코더 및 디코더 브랜치에 GCA 블록을 통합한다.
• 학습 안정성 향상과 특징 학습 개선을 위해 잔차 연결과 스펙트럼 정규화를 사용한다.
• 모델은 Adobe Image Matting 데이터셋에서 엔드 투 엔드로 훈련되며, Composition-1k 및 alphamatting.com 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 국소적 이미지 외관을 지침으로 하여 전역적 옹도 전파가 반투명 영역의 매트팅 품질을 향상시킬 수 있는가?
• RQ2 딥 뉴럴 네트워크가 계산 효율성을 유지하면서도 유사도 기반 매트팅의 정보 흐름을 효과적으로 모방할 수 있는가?
• RQ3 제안된 가이드드 컨텍스트 추론 모듈은 이미지 매트팅 및 인painting 분야의 기존 추론 기법들과 비교해 어떻게 성능을 내는가?
• RQ4 특히 큰 알려지지 않은 영역이 포함된 경우, 다양한 트림랩 크기에 대해 이 방법이 잘 일반화되는가?
• RQ5 이미지 스케일링 없이도 고해상도 매트팅을 달성할 수 있으며, 미세한 질감 세부 정보를 유지할 수 있는가?

주요 결과

• Composition-1k 벤치마크에서 GCA Matting는 기울기 오차와 MSE 측정치에서 최고 성능을 기록하며 이전 최신 기술 수준(SOTA) 방법들을 능가한다.
• alphamatting.com 벤치마크에서 GCA Matting는 기울기 오차 지표에서 1위를 차지하며, 특히 더 큰 알려지지 않은 영역을 가진 'large' 및 'user' 트림랩에서 두각을 나타낸다.
• 단일 NVIDIA GTX 1080(8GB)에서 전체 해상도 추론를 수행하며, 스케일링 없이 전체 이미지를 처리함으로써 더 나은 질감 유지에 기여한다.
• 주의 맵의 시각화 결과는 모델이 구조적 및 외관이 유사한 패치들, 특히 배경 영역에서부터 옹도를 전파하는 것을 학습하고 있음을 확인한다.
• 이전 방법이 실패한 플라스틱 봉지 안의 철사 같은 복잡한 구조도 효과적인 문맥 추론 덕분에 정확하게 예측한다.
• 다양한 트림랩 유형에서 강력한 성능을 유지하며, 알려지지 않은 영역 크기 변화에 대한 강건성을 입증한다.