[논문 리뷰] Highly Efficient Natural Image Matting

Yijie Zhong, Bo Li외 3명|arXiv (Cornell University)|2021. 10. 25.

Image Enhancement Techniques참고 문헌 32인용 수 10

한 줄 요약

이 논문은 두 단계 프레임워크를 사용하는 트림랩 없는 경량 자연 이미지 매트팅 방법을 제안한다: 의미 분류를 위한 세그멘테이션 네트워크(SN)와 알파 예측을 위한 매트팅 리파인 네트워크(MRN). 다중 척도 특징 추출을 위한 효율적인 크로스레벨 퓨전 모듈(CFM)과 장거리 의존성을 모델링하기 위한 효율적인 비국소 주의(ENA) 모듈을 도입하여, 기준 데이터셋에서 344만 파라미터로 SOTA 성능을 달성했다—대규모 모델의 1%에 불과하다.

ABSTRACT

Over the last few years, deep learning based approaches have achieved outstanding improvements in natural image matting. However, there are still two drawbacks that impede the widespread application of image matting: the reliance on user-provided trimaps and the heavy model sizes. In this paper, we propose a trimap-free natural image matting method with a lightweight model. With a lightweight basic convolution block, we build a two-stages framework: Segmentation Network (SN) is designed to capture sufficient semantics and classify the pixels into unknown, foreground and background regions; Matting Refine Network (MRN) aims at capturing detailed texture information and regressing accurate alpha values. With the proposed cross-level fusion Module (CFM), SN can efficiently utilize multi-scale features with less computational cost. Efficient non-local attention module (ENA) in MRN can efficiently model the relevance between different pixels and help regress high-quality alpha values. Utilizing these techniques, we construct an extremely light-weighted model, which achieves comparable performance with ~1\% parameters (344k) of large models on popular natural image matting benchmarks.

연구 동기 및 목표

• 딥러닝 기반 매트팅 방법이 사용자 제공 트림랩에 의존하고 대규모 모델 크기를 필요로 하는 한계를 해결하기 위해.
• 모델 크기와 계산 비용을 줄여 저자원 장치에서의 실용적 구현을 가능하게 하기 위해.
• 이미지 영역을 동시에 세그멘테이션하고 정밀한 알파 값을 회귀하는 트림랩 없는 종단 간 프레임워크를 개발하기 위해.
• 최소한의 파라미터와 FLOPs로 높은 성능을 유지하는 효율적인 모듈을 설계하기 위해.

제안 방법

• 프레임워크는 두 단계로 구성된다: 경량 백본을 사용해 픽셀을 전경, 배경, 알 수 없는 영역로 분류하는 세그멘테이션 네트워크(SN).
• 매트팅 리파인 네트워크(MRN)는 자세한 무늬 정보를 활용해 알 수 없는 영역의 알파 값을 개선한다.
• 크로스레벨 퓨전 모듈(CFM)은 계산 비용을 줄이며 SN이 다중 척도 특징을 효율적으로 통합하도록 한다.
• MRN에 내장된 효율적인 비국소 주의(ENA) 모듈은 희소 샘플링을 사용해 장거리 픽셀 관계를 모델링하여 알파 예측 정확도를 향상시킨다.
• ENA는 효과적인 장거리 모델링과 계산 효율성의 균형을 맞추기 위해 샘플링 간격 √k = 4를 사용한다.
• 의미적 표현과 낮은 FLOPs를 고려해 설계된 경량 백본을 사용해 종단 간으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 트림랩 없는 자연 이미지 매트팅 모델이 현저히 줄어든 모델 크기로 SOTA 성능을 달성할 수 있는가?
• RQ2 경량 네트워크에서 다중 척도 특징을 효율적으로 융합하여 의미 이해를 향상시킬 수 있는가?
• RQ3 계산 비용을 증가시키지 않고도 효율적인 주의 메커니즘이 매트팅에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ4 매트팅 작업에서 모델 용량, 파라미터 수, 추론 효율성 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 모델은 Composition-1k 벤치마크에서 SAD 19.59를 기록하여, 344만 파라미터로도 SOTA 방법을 초월했다.
• 모델은 0.93G FLOPs를 사용하며, 대규모 모델의 1%에 불과하지만 높은 정확도를 유지한다.
• ENA 모듈은 기준 모델 대비 SAD를 34.33에서 19.59로 감소시켜 장거리 의존성 모델링의 효과성을 입증했다.
• 백본을 MobileNetV2나 ShuffleNetV2로 교체하면 SAD(47.21 및 48.72)와 FLOPs가 증가하여 제안된 경량 백본의 우수성을 확인했다.
• 제거 실험을 통해 CFM와 ENA를 함께 사용할 경우 기준 모델 대비 SAD가 46.3% 감소하여 최고의 성능을 달성함을 확인했다.
• 모델은 실제 인터넷 이미지에 잘 일반화되어 명확한 전경 경계와 부드러운 전환을 보이는 고품질 알파 매트를 생성한다.