[논문 리뷰] Deep Image Matting with Flexible Guidance Input

Hang Cheng, Shugong Xu외 2명|arXiv (Cornell University)|2021. 10. 21.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 프로그레시브 트림랩 디포머메이션(PTD) 기법과 시맨틱 퓨전 모듈(SFM)을 사용하여 유연한 가이던스 입력—트림랩, 스크리블맵, 클릭맵 또는 가이던스 없음—을 지원하는 딥 이미지 매트링 방법을 제안한다. 이 방법은 훈련 중에 트림랩을 점진적으로 왜곡하고 다중 스케일 특징을 융합하여 강력한 전경-배경 분離를 위해, 모든 가이던스 수준에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Image matting is an important computer vision problem. Many existing matting methods require a hand-made trimap to provide auxiliary information, which is very expensive and limits the real world usage. Recently, some trimap-free methods have been proposed, which completely get rid of any user input. However, their performance lag far behind trimap-based methods due to the lack of guidance information. In this paper, we propose a matting method that use Flexible Guidance Input as user hint, which means our method can use trimap, scribblemap or clickmap as guidance information or even work without any guidance input. To achieve this, we propose Progressive Trimap Deformation(PTD) scheme that gradually shrink the area of the foreground and background of the trimap with the training step increases and finally become a scribblemap. To make our network robust to any user scribble and click, we randomly sample points on foreground and background and perform curve fitting. Moreover, we propose Semantic Fusion Module(SFM) which utilize the Feature Pyramid Enhancement Module(FPEM) and Joint Pyramid Upsampling(JPU) in matting task for the first time. The experiments show that our method can achieve state-of-the-art results comparing with existing trimap-based and trimap-free methods.

연구 동기 및 목표

• 이미지 매트링에서 수동으로 트림랩을 생성하는 데 드는 사용자 부담을 완화하기 위해.
• 다양한 사용자 가이던스 입력을 통합하여 트림랩 없는 방법의 성능을 향상시키기 위해.
• 단일 모델이 트림랩, 스크래치, 클릭 또는 입력 없음과 같은 다양한 수준의 사용자 입력 복잡도를 처리할 수 있도록 하기 위해.
• 다중 스케일 시맨틱 융합을 통해 정확한 알파 매트릭스 예측을 위한 특징 학습을 향상시키기 위해.
• 다양한 가이던스 입력에 대해 잘 일반화되는 훈련 기법 개발하기 위해.

제안 방법

• 훈련 중에 트림랩의 전경 및 배경 영역을 점진적으로 축소시켜 스크래블맵으로 변환하는 데이터 증강 기법인 프로그레시브 트림랩 디포머메이션(PTD)을 도입한다.
• 무작위 점 샘플링과 곡선 피팅을 활용해 현실적인 사용자 스크래치와 클릭을 시뮬레이션하여 다양한 사용자 입력에 대한 강건성을 향상시킨다.
• 특징 피라미드 향상 모듈(FPEM)과 공동 피라미드 업샘플링(JPU)을 융합한 다중 스케일 시맨틱 특징 융합을 위한 시맨틱 퓨전 모듈(SFM)을 제안한다.
• 다양한 가이던스 유형으로 종합적으로 훈련하여, 예측되지 않은 가이던스 수준으로의 제로샷 일반화를 가능하게 한다.
• 기본 매트링 공식으로 구성 방정식 $ I_i = \alpha_i F_i + (1 - \alpha_i) B_i $ 를 사용하며, $ \alpha \in [0,1] $ 이다.
• PTD를 트림랩 성능 향상뿐 아니라 클릭맵 및 가이던스 없음 시나리오로의 일반화 향상에도 적용한다.

실험 결과

연구 질문

• RQ1 딥 이미지 매트링 모델이 트림랩, 스크래치, 클릭 또는 가이던스 없음과 같은 다양한 가이던스 입력 유형에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 훈련 중에 트림랩을 점진적으로 변형시키는 것이 스크래치 및 클릭과 같은 희박한 사용자 입력에 대해 강건성을 향상시키는가?
• RQ3 PTD로 훈련된 단일 모델이 트림랩 없는 매트링 시나리오로 얼마나 잘 일반화되는가?
• RQ4 제안된 시맨틱 퓨전 모듈(SFM)이 정확한 알파 매트릭스 예측을 위한 특징 표현을 효과적으로 향상시키는가?
• RQ5 가이던스 품질이 감소함에 따라 모델의 성능이 어떻게 저하되는가, 그리고 어떤 가이던스 없이도 강건성을 유지할 수 있는가?

주요 결과

• 가이던스 없음 테스트 세트에서 제안된 방법은 SAD 36.36과 MSE 0.0141을 기록하여 사용자 입력 없이도 뛰어난 성능을 보였다.
• 클릭맵 가이던스를 사용할 경우, SAD 34.67과 MSE 0.0112를 기록하여 기존의 트림랩 없는 방법들을 초월했다.
• PTD 기법은 표준 훈련 대비 트림랩 성능을 SAD 2.32 포인트 향상시켰으며, 클릭맵 및 가이던스 없음 시나리오에서는 10 SAD 포인트 이상 향상시켰다.
• GCA 및 DIM 모델에 PTD를 적용하면, 가이던스 없음 SAD가 각각 60.15와 90.10에서 41.05와 65.67로 향상되었다.
• SFM 모듈은 모든 가이던스 유형에서 성능 향상을 이끌었으며, 아블레이션 연구에서 FPEM 또는 JPU를 별도로 사용하는 것보다 우수한 성능을 보였다.
• 다양한 스크래블맵 및 클릭맵 테스트 세트에서 낮은 표준편차를 보이며, 동일한 가이던스 수준에서 형태의 변형에 강건함을 입증했다.