[논문 리뷰] Deep Image Matting: A Comprehensive Survey

Jizhizi Li, Jing Zhang외 1명|arXiv (Cornell University)|2023. 04. 10.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 종합 검토는 딥러닝 기반 이미지 매트팅 기법을 보조 입력 기반 및 자동 매트팅 접근법으로 분류하여 포괄적인 리뷰를 제공한다. 네트워크 아키텍처 분석, 벤치마크 데이터셋에서의 성능 평가, 핵심 과제 및 향후 방향성(약한 지도 학습, 합성에서 실세계로의 도메인 갭 감소, 확산 모델 및 다중모달 입력 통합 포함)을 규명한다.

ABSTRACT

Image matting refers to extracting precise alpha matte from natural images, and it plays a critical role in various downstream applications, such as image editing. Despite being an ill-posed problem, traditional methods have been trying to solve it for decades. The emergence of deep learning has revolutionized the field of image matting and given birth to multiple new techniques, including automatic, interactive, and referring image matting. This paper presents a comprehensive review of recent advancements in image matting in the era of deep learning. We focus on two fundamental sub-tasks: auxiliary input-based image matting, which involves user-defined input to predict the alpha matte, and automatic image matting, which generates results without any manual intervention. We systematically review the existing methods for these two tasks according to their task settings and network structures and provide a summary of their advantages and disadvantages. Furthermore, we introduce the commonly used image matting datasets and evaluate the performance of representative matting methods both quantitatively and qualitatively. Finally, we discuss relevant applications of image matting and highlight existing challenges and potential opportunities for future research. We also maintain a public repository to track the rapid development of deep image matting at https://github.com/JizhiziLi/matting-survey.

연구 동기 및 목표

• 보조 입력 기반 및 자동 매트팅 방법에 중점을 두어 딥러닝 기반 이미지 매트팅 분야의 최근 발전을 체계적으로 검토하는 것.
• 보조 입력 기반 및 자동 매트팅 환경에서 최신 모델의 아키텍처 설계, 강점 및 한계를 분석하고 비교하는 것.
• 정량적 및 정성적 지표를 사용하여 표준 벤치마크에서 대표적 방법의 성능을 평가하는 것.
• 일반화, 계산 효율성, 데이터 주석 처리와 관련된 핵심 과제를 규명하고 향후 연구 방향을 탐색하는 것.
• https://github.com/JizhiziLi/matting-survey에서 딥러닝 기반 이미지 매트팅 연구의 빠른 진화를 추적하는 공개 레포지터리를 유지하는 것.

제안 방법

• 딥러닝 기반 이미지 매트팅 기법을 두 가지 주요 유형으로 분류: 보조 입력 기반(트림랩, 스케치, 클릭, 텍스트 사용) 및 자동 매트팅(사용자 입력 없음).
• 단일 단계, 다중 스트림, 글로벌 가이던스를 갖춘 단일 단계, 순차적 세그먼테이션-매트팅, 병렬 다중 작업 네트워크와 같은 네트워크 아키텍처를 검토.
• 장거리 의존성과 기능 표현 향상을 위해 트랜스포머 및 비전 트랜스포머 아키텍처의 통합을 분석.
• MAE 및 MSE와 같은 지표를 사용하여 DAVIS, COCO-ImageMatte 등 여러 공개 데이터셋에서의 성능을 평가.
• 실시간 산업 응용 프로그램에 적합성을 평가하기 위해 계산 효율성과 모델 복잡도를 비교.
• 향후 연구 방향으로 약한 지도 학습, 합성 이미지와 실세계 이미지 간 도메인 적응, 언어, 음성 또는 3D NeRF를 활용한 다중모달 매트팅을 제안.

실험 결과

연구 질문

• RQ1 예를 들어 트림랩, 스케치, 텍스트와 같은 다양한 보조 입력 유형은 딥러닝 기반 이미지 매트팅 모델의 성능과 강건성에 어떤 영향을 미치는가?
• RQ2 자동 이미지 매트팅에서 단일 단계, 다중 스트림, 다중 작업 네트워크의 아키텍처적 장점과 한계는 무엇인가?
• RQ3 합성된 아티팩트를 포함한 합성 데이터셋으로 훈련된 모델은 실제 자연 이미지에 대해 일반화 능력이 제한되는가?
• RQ4 약한 지도 학습 또는 자기지도 학습 기법은 비용이 많이 드는 인간 주석 기반 알파 매트를 줄이는데 어떻게 기여할 수 있는가?
• RQ5 확산 모델과 다중모달 입력(예: 텍스트, 시선, 3D)이 제어 가능하고 설명 가능한 이미지 매트팅을 향상시키는 데 어떤 역할을 할 수 있는가?

주요 결과

• 크로마 키잉 또는 블렌딩 기법을 사용해 합성된 데이터셋으로 훈련된 모델은 복합 아티팩트와 도메인 이동으로 인해 실제 자연 이미지에서는 성능에 실패하는 경우가 많다.
• 단일 카테고리(예: 인간 전용)로 훈련된 모델은 다른 객체 카테고리로의 일반화 능력이 떨어지며, 다양한 다중 카테고리 데이터셋이 필요함을 시사한다.
• 트랜스포머 기반 아키텍처는 복잡한 경계 영역에서 장거리 맥락과 의존성을 포착함으로써 성능 향상을 이룬다.
• 사용자 입력 없이 주요 전경을 예측하는 자동 매트팅 모델은 경쟁력 있는 성능를 달성하지만, 객체 카테고리와 배경 복잡성에 민감하게 반응한다.
• 차원 감소, 특징 재사용, 토큰 프루닝을 활용한 경량 아키텍처는 산업 응용 분야에서 실시간 배포에 유망한 전망을 보인다.
• 세그먼테이션 또는 시각적 주목도 맵에서 유도된 약한 지도 학습 기법을 활용한 향후 방법은 일반화 능력을 향상시키고 주석 비용을 줄일 수 있으며, 전이 학습 및 사전 학습의 잠재력도 있다.