[논문 리뷰] AlphaGAN: Generative adversarial networks for natural image matting

Sebastian Lutz, Konstantinos Amplianitis외 1명|arXiv (Cornell University)|2018. 07. 26.

Image Enhancement Techniques참고 문헌 26인용 수 28

한 줄 요약

이 논문은 자연 이미지 매트팅을 위한 최초의 생성적 적대적 네트워크(GAN)인 AlphaGAN을 소개한다. 이는 확장된 컨볼루션 인코더-디코더 생성기와 현실적인 복합 이미지를 식별하도록 훈련된 적대적 판별기의 조합을 통해 알파 예측을 향상시킨다. 이 방법은 alphamatting.com 벤치마크에서 최고 성능을 기록하여, 인지적 기반의 기울기 오차 지표에서 1위를 차지하며, 적대적 손실 덕분에 모서리나 털과 같은 미세한 디테일을 더 잘 예측한다.

ABSTRACT

We present the first generative adversarial network (GAN) for natural image matting. Our novel generator network is trained to predict visually appealing alphas with the addition of the adversarial loss from the discriminator that is trained to classify well-composited images. Further, we improve existing encoder-decoder architectures to better deal with the spatial localization issues inherited in convolutional neural networks (CNN) by using dilated convolutions to capture global context information without downscaling feature maps and losing spatial information. We present state-of-the-art results on the alphamatting online benchmark for the gradient error and give comparable results in others. Our method is particularly well suited for fine structures like hair, which is of great importance in practical matting applications, e.g. in film/TV production.

연구 동기 및 목표

• 자연 이미지 매트팅의 불안정한 성격을 해결하기 위해, 배경 및 전경 색상이 알려져 있지 않고 단일 복합 이미지만 제공되는 상황을 다루기 위해.
• 딥 러닝, 특히 생성적 적대적 네트워크(GAN)를 활용해 알파 매트팅 성능을 향상시키기 위해, 이는 이전에 이 작업에 적용된 바가 없었다.
• 자연 이미지 매트팅에서 미세한 구조(예: 털)의 예측을 향상시키기 위해 컨volutional 신경망(CNN)의 공간 정렬 및 전역 맥락 모델링을 개선하기 위해.
• 지표와 예측된 알파 복합 이미지를 구분하도록 판별기를 훈련시켜, 더 시각적으로 현실적인 복합 이미지를 생성하기 위해.
• 특히 인지적 지표와 미세한 디테일 복구에서 최고 성능을 내기 위해 alphamatting.com 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 입력 이미지에서 알파 매트를 예측하는 생성기와, 진짜 또는 예측된 알파 값으로 만든 복합 이미지인지 식별하도록 훈련된 판별기를 포함하는 GAN 기반 프레임워크를 제안한다.
• 표준 컨볼루션 대신 확장된 컨볼루션을 사용하여 생성기 아키텍처를 개선함으로써, 다운샘플링 없이도 공간 해상도를 유지하고 장거리 맥락을 캡처한다.
• Xu 등 [33]의 인코더-디코더 구조를 기반으로 하되, 특징의 국소화 및 표현을 향상시키기 위해 아키텍처적 개선을 가한다.
• 생성기가 더 현실적인 복합 이미지를 생성하도록 유도하기 위해, 시각적 현실성에 기반한 적대적 손실 성분을 도입함으로써 인지적 품질을 향상시킨다.
• 정밀도와 현실성의 균형을 맞추기 위해, 알파 예측에 대한 L1 손실과 판별기에서 유도된 적대적 손실을 조합하여 생성기를 훈련시킨다.
• 훈련 및 평가를 위해 431개의 고유한 전경 객체와 합성 배경을 포함한 alphamatting.com 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법은 자연 이미지 매트팅에서 알파 매트 예측의 시각적 품질과 구조적 정확도를 향상시킬 수 있는가?
• RQ2 생성기에서 확장된 컨볼루션을 사용하면 공간 디테일을 유지하고 알파 매트팅에서 정확도를 향상시킬 수 있는가?
• RQ3 복합 이미지의 현실성에 대해 평가하는 판별기를 사용한 적대적 훈련은 특히 털과 같은 미세한 구조에서 더 나은 일반화와 더 선명한 예측을 이끌 수 있는가?
• RQ4 벤치마크 데이터셋에서 인지적 및 정량적 지표 측면에서 제안된 방법은 최고 성능 기반 방법들과 비교해 어떻게 성과를 내는가?
• RQ5 복잡한 질감과 미세한 디테일을 가진 도안이나 트롤과 같은 어려운 이미지에 대해 모델은 잘 일반화되는가?

주요 결과

• AlphaGAN은 인지적 측정 기준으로 설계된 기울기 오차 지표에서 alphamatting.com 벤치마크에서 최고 성능을 기록하며, 점수 0.5로 1위를 차지했다.
• 트롤과 도안 이미지에 대해 Sum of Absolute Differences(SAD)와 Mean Squared Error(MSE) 지표에서 최고 성능을 기록했으며, SAD 점수는 각각 19.2와 18.7이었다.
• 도안 이미지의 경우, AlphaGAN은 모든 방법들 중에서 가장 낮은 SAD(19.2)와 MSE(18.7)를 기록하여, 미세한 구조에서 뛰어난 성능을 보였다.
• 트롤과 도안 이미지에서 특히 뛰어난 성능을 보였으며, 이는 적대적 손실 덕분에 날카운 구조적 선명도가 향상되었기 때문으로 분석된다.
• Composition-1k 테스트 데이터셋에서 AlphaGAN은 최고 성능을 기록했으며, 다양한 이미지 카테고리에 걸쳐 강력한 일반화 능력을 보였다.
• 넷 이미지에서는 순위가 낮았지만, 결과는 최고 성능 방법들과 시각적으로 유사했으며, 도전적인 케이스에서도 강건함을 입증했다.