[논문 리뷰] Disentangled Image Matting

Shaofan Cai, Xiaoshuai Zhang외 7명|arXiv (Cornell University)|2019. 09. 10.

Image Enhancement Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 이미지 매트팅을 위한 새로운 딥러닝 프레임워크인 AdaMatting을 제안하며, 알파 매트릭스 예측과 트림랩 개선을 다중 작업 학습 아키텍처로 분리한다. 부분화소 컨볼루션, 글로벌 컨볼루션, 그리고 동적 다중 작업 손실을 활용하여 합성(Composition-1k) 및 실세계 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기울기 손실을 16.89 감소시키고 MSE를 0.0102 감소시킨다.

ABSTRACT

Most previous image matting methods require a roughly-specificed trimap as input, and estimate fractional alpha values for all pixels that are in the unknown region of the trimap. In this paper, we argue that directly estimating the alpha matte from a coarse trimap is a major limitation of previous methods, as this practice tries to address two difficult and inherently different problems at the same time: identifying true blending pixels inside the trimap region, and estimate accurate alpha values for them. We propose AdaMatting, a new end-to-end matting framework that disentangles this problem into two sub-tasks: trimap adaptation and alpha estimation. Trimap adaptation is a pixel-wise classification problem that infers the global structure of the input image by identifying definite foreground, background, and semi-transparent image regions. Alpha estimation is a regression problem that calculates the opacity value of each blended pixel. Our method separately handles these two sub-tasks within a single deep convolutional neural network (CNN). Extensive experiments show that AdaMatting has additional structure awareness and trimap fault-tolerance. Our method achieves the state-of-the-art performance on Adobe Composition-1k dataset both qualitatively and quantitatively. It is also the current best-performing method on the alphamatting.com online evaluation for all commonly-used metrics.

연구 동기 및 목표

• 저품질의 트림랩 입력 문제를 해결하기 위해 알파 예측과 트림랩 정제를 함께 학습하는 것.
• 세밀한 구조를 가진 복잡한 장면에서 알파 매트릭스 예측의 강건성과 세부 사항 충실도를 향상시키기 위해.
• 알파 추정과 트림랩 적응을 분리하여 더 나은 특징 학습을 위한 다중 작업 네트워크 아키텍처를 설계하기 위해.
• 학습 중에 여러 손실 성분의 균형을 동적으로 조정하여 일반화 및 수렴 성능을 향상시키기 위해.
• 합성 및 실세계 이미지 매트팅 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 알파 예측과 트림랩 적응을 위한 공유 인코더와 두 개의 디코더를 가진 다중 작업 오토인코더 아키텍처를 사용한다.
• 고해상도 알파 매트릭스 예측을 위해 공간적 세부 정보를 유지하면서 특징을 업샘플링하기 위해 부분화소 컨볼루션을 도입한다.
• 이미지 전반의 장거리 맥락적 의존성을 캡처하기 위해 글로벌 컨볼루션을 사용한다.
• 공간적 맥락과 에지 인식 스무딩을 사용하여 알파 매트릭스 예측을 개선하기 위해 전파 유닛(PU)을 적용한다.
• 학습 중에 기울기, SAD, MSE 손실의 중요도를 자동으로 조정하는 동적 가중 다중 작업 손실을 구현한다.
• 손실 가중치를 백프로파게이션을 통해 학습함으로써 L1 기반 손실과 적응형 손실 가중치를 조합하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 저품질 또는 노이즈가 있는 트림랩에서 알파 예측과 트림랩 적응을 함께 학습하면 매트팅 성능이 향상되는가?
• RQ2 부분화소 컨볼루션과 글로벌 컨볼루션은 알파 매트릭스 예측에서 세밀한 세부 사항을 어떻게 유지하는가?
• RQ3 다중 작업 학습 중 동적 손실 가중치는 고정 가중치보다 더 나은 수렴과 성능을 이끌어내는가?
• RQ4 분리된 아키텍처는 엔드 투 엔드 매트팅 모델에 비해 실세계 이미지에 더 잘 일반화되는가?
• RQ5 각 구성 요소(SP, GC, PU)가 전체 성능 향상에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 완전한 AdaMatting 모델은 Composition-1k 벤치마크에서 기울기 손실 16.89, SAD 41.70, MSE 0.0102를 기록하여 모든 추출 변형 버전을 앞선다.
• 전파 유닛(PU)을 제거하면 성능 저하가 가장 크게 발생하여 기울기 손실이 17.86으로 증가하고 SAD가 44.13으로 상승하며, PU가 가장자리 개선에 핵심적인 역할을 함을 시사한다.
• 추출 분석 결과, 부분화소 컨볼루션(SP)과 글로벌 컨볼루션(GC) 각각이 크게 기여하며, SP, GC, PU를 모두 제거한 변형 대비 기울기 손실에서 8.29의 향상을 보였다.
• 동적 가중 손실(AdaMatting-D)은 고정 가중 손실 버전(AdaMatting-F, 18.35)보다 더 좋은 결과(기울기 손실 16.89)를 달성하여 적응형 손실 균형 조정의 우수성을 입증한다.
• 실세계 이미지에서 AdaMatting는 DIM 및 Information Flow에 비해 더 자연스럽고 강건한 전경 추출을 제공하며, 배경 교체 비교에서 이를 입증한다.
• 손실 가중치 σ₁과 σ₂는 학습 중에 약 0.0995와 0.0878로 안정적으로 수렴하여 작업 중요도의 효과적인 자동 균형 조정을 보여준다.