[논문 리뷰] Mask Guided Matting via Progressive Refinement Network

Qihang Yu, Jianming Zhang외 6명|arXiv (Cornell University)|2020. 12. 12.

Image Enhancement Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 자동으로 반복적으로 정밀화하는 프로그레시브 리퍼니먼트 네트워크(Progressive Refinement Network, PRN)를 사용하여, 정밀한 트림랩, 이진 분할, 또는 저품질 알파 매트와 같은 원시 가이던스 마스크로부터 알파 매트 예측을 점진적으로 향상시키는 강력한 딥러닝 프레임워크인 마스크 가이드드(Mask Guided, MG) 매트링을 제안한다. 이 방법은 자체 가이던스 정밀화와 새로운 데이터 증강 전략인 랜덤 알파 블렌딩(Random Alpha Blending, RAB)을 결합하여 실제 및 합성 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 전경 색상 추정을 향상시킨다.

ABSTRACT

We propose Mask Guided (MG) Matting, a robust matting framework that takes a general coarse mask as guidance. MG Matting leverages a network (PRN) design which encourages the matting model to provide self-guidance to progressively refine the uncertain regions through the decoding process. A series of guidance mask perturbation operations are also introduced in the training to further enhance its robustness to external guidance. We show that PRN can generalize to unseen types of guidance masks such as trimap and low-quality alpha matte, making it suitable for various application pipelines. In addition, we revisit the foreground color prediction problem for matting and propose a surprisingly simple improvement to address the dataset issue. Evaluation on real and synthetic benchmarks shows that MG Matting achieves state-of-the-art performance using various types of guidance inputs. Code and models are available at https://github.com/yucornetto/MGMatting.

연구 동기 및 목표

• 정밀한 트림랩과 같은 고품질의 특정 가이던스 입력이 필요한 기존 매트링 방법의 한계를 해결하기 위해.
• 트림랩, 이진 분할, 저품질 알파 매트 등 다양한 종류와 품질의 원시 마스크를 효과적으로 활용할 수 있는 일반화된 매트링 프레임워크를 개발하기 위해.
• 합성 데이터 생성을 통해 데이터셋의 한계를 해결하고, 복합 작업에서의 프린징을 줄이는 데 핵심적인 전경 색상 추정을 향상시키기 위해.
• 실제 환경에서의 평가를 더 잘 가능하게 하기 위해 새로운 고품질의 실세계 매트링 벤치마크 데이터셋을 공개하기 위해.

제안 방법

• 디코딩 중에 불확실한 영역을 자가 가이던스 방식으로 반복적으로 정밀화할 수 있도록 하는 프로그레시브 리퍼니먼트 네트워크(Progressive Refinement Network, PRN)를 제안하여, 다중 단계에 걸쳐 예측 정확도를 향상시킨다.
• 훈련 중에 지도 마스크의 흐트러짐 파이프라인을 도입하여, 무작위 이진화, 형태학적 연산, CutMask를 포함하여 다양한 불완전한 외부 마스크에 대한 강건성을 향상시킨다.
• 랜덤 알파 블렌딩(Random Alpha Blending, RAB)을 활용해 이미지와 무작위 알파 매트를 혼합하여 합성 훈련 데이터를 생성함으로써, 수동 애너테이션 없이도 전경 색상 추정을 향상시킨다.
• 데이터 증강(재-JPEG 처리, 블러, 노이즈)을 적용한 수정된 Composition-1k 데이터셋을 사용하여, 실제 이미지 손상에 대한 강건성을 향상시킨다.
• 공유된 인코더와 별도의 디코더를 갖춘 이중 브랜치 네트워크 아키텍처를 사용하여 알파 매트 및 전경 색상 예측을 동시에 최적화할 수 있도록 한다.
• 증강된 데이터를 사용할 경우, 색상 변화로 인한 레이블 불일치를 방지하기 위해 표준 조합 손실을 대체하여 훈련 중에 손실 함수를 수정한다.

실험 결과

연구 질문

• RQ1 정밀한 트림랩과 같은 고품질 가이던스 입력이 필요 없이, 트림랩, 이진 분할, 소프트 알파 매트와 같은 다양한 저품질의 가이던스 마스크에 대해 딥러닝 매트링 모델이 일반화 가능한가?
• RQ2 특히 털, 털 같은 세부 영역에서 자가 가이던스 프로그레시브 리퍼니먼트가 매트링 품질 향상에 얼마나 효과적인가?
• RQ3 랜덤 알파 블렌딩을 통한 합성 데이터 생성이 전경 색상 추정 정확도 향상과 복합 작업에서의 프린징 감소에 얼마나 기여하는가?
• RQ4 실세계 및 합성 벤치마크에서 제안된 방법은 최신 기술 수준의 트림랩 기반 및 트림랩 없이도 작동하는 매트링 모델과 비교해 어떤가?
• RQ5 에로지션 및 딜레이션과 같은 지도 마스크의 변형에 대해 강력한 매트링 프레임워크가 일관된 성능을 유지할 수 있는가?

주요 결과

• MG 매트링은 합성 벤치마크(Composition-1k)와 실세계 벤치마크에서 모두 최신 기술 수준의 성능을 달성하였으며, 전체 이미지 기준으로 평균 SAD는 8.01, MSE는 0.0095이며, 세부 영역 기준으로는 SAD는 5.94, MSE는 0.0637을 기록했다.
• 모델은 지도 마스크의 훼손에 대해 일관된 성능을 유지한다. 마스크가 30픽셀만큼 침식된 경우 SAD는 26.8에서 27.4로 약간 증가할 뿐이며, 강력한 강건성을 입증한다.
• 트림랩 없는 방법인 BSHM [27]과 비교해 MG 매트링은 전체 이미지 기준으로 더 낮은 MSE(0.0095 vs. 0.0155)와 SAD(8.01 vs. 10.66)를 기록하여 유의미하게 뛰어난 성능을 보였다.
• 제안된 랜덤 알파 블렌딩(RAB) 방법은 전경 색상 추정 정확도를 향상시켜, 추가 애너테이션 없이도 복합 이미지에서 프린징 아티팩트를 줄였다.
• 예상치 못한 지도 유형, 즉 저품질 알파 매트와 낮은 품질의 이진 마스크에 대해서도 잘 일반화되며, 특정 유형의 지도 마스크에 대해 특별히 훈련된 방법들을 초월했다.
• 공개된 고품질의 실세계 매트링 벤치마크 데이터셋은 실제 조건에서 매트링 모델의 평가를 더 신뢰할 수 있게 하여, 이전 연구에서 부족했던 이러한 유형의 벤치마크 부족 문제를 해결한다.