[논문 리뷰] Boosting General Trimap-free Matting in the Real-World Image

Leo Shan Wenzhang Zhou Grace Zhao|arXiv (Cornell University)|2024. 05. 28.

Textile materials and evaluationsMaterials Science인용 수 3

한 줄 요약

이 논문은 사전에 트림랩을 필요로 하지 않는 MFC-Net을 제안하며, 선명도 기반 배경 정의와 다중 특징 융합을 통해 전경 완전성과 일반화 능력을 향상시킨다. 데이터 생성 과정에 이미지 조화 기법을 도입하고, Real-19k 데이터셋을 구축하여 합성 이미지와 실제 이미지 모두에서 최신 기술 수준의 성능을 달성하였다. Real-19k에서 SAD는 35.4, MSE는 9.4를 기록하였다.

ABSTRACT

Image matting aims to obtain an alpha matte that separates foreground objects from the background accurately. Recently, trimap-free matting has been well studied because it requires only the original image without any extra input. Such methods usually extract a rough foreground by itself to take place trimap as further guidance. However, the definition of 'foreground' lacks a unified standard and thus ambiguities arise. Besides, the extracted foreground is sometimes incomplete due to inadequate network design. Most importantly, there is not a large-scale real-world matting dataset, and current trimap-free methods trained with synthetic images suffer from large domain shift problems in practice. In this paper, we define the salient object as foreground, which is consistent with human cognition and annotations of the current matting dataset. Meanwhile, data and technologies in salient object detection can be transferred to matting in a breeze. To obtain a more accurate and complete alpha matte, we propose a network called extbf{M}ulti- extbf{F}eature fusion-based extbf{C}oarse-to-fine Network extbf{(MFC-Net)}, which fully integrates multiple features for an accurate and complete alpha matte. Furthermore, we introduce image harmony in data composition to bridge the gap between synthetic and real images. More importantly, we establish the largest general matting dataset extbf{(Real-19k)} in the real world to date. Experiments show that our method is significantly effective on both synthetic and real-world images, and the performance in the real-world dataset is far better than existing matting-free methods. Our code and data will be released soon.

연구 동기 및 목표

• 트림랩이 없는 매트팅에서 전경 정의의 모호함을 줄이기 위해 전경을 선명도 객체로 정의함으로써 인간 인지 및 기존 매트팅 데이터셋의 애너테이션과 일치시킨다.
• 저수준, 고수준, 전반적 맥락 특징의 다중 특징 융합을 통해 계층적 추론 네트워크를 설계하여 전경 완전성과 알파 매트릭스 정확도를 향상시킨다.
• 합성 이미지와 실제 이미지 간의 도메인 차이를 줄이기 위해 데이터 생성 과정에 이미지 조화 기법을 도입한다.
• 실제 이미지 기반의 대규모 매트팅 벤치마크(Real-19k)를 구축하여 트림랩이 없는 방법의 신뢰할 수 있는 평가를 가능하게 한다.
• 통합된 방법론적 및 데이터 기반 혁신을 통해 합성 및 실제 이미지 매트팅 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 선명도 검출을 통해 전경을 선명도 객체로 정의하여 인간 인지 및 기존 데이터셋 애너테이션과 일관성을 확보한다.
• 저해상도 특징 추출을 통해 전경 무결성을 향상시키고 거짓 음성 수를 줄이는 계층적 추론 모듈을 포함한 MFC-Net을 제안한다.
• 간단한 연결 또는 덧셈이 아닌 학습 가능한 필터를 통해 저수준 외관, 고수준 의미, 전반적 맥락 특징을 융합하는 인터리브 야채이션(IA) 모듈을 도입한다.
• 다양한 이미지 간 전경-배경 차이를 정규화하는 글로벌 맥락 특징(GCF) 모듈을 통합하여 일반화 능력을 향상시킨다.
• 합성 데이터 생성 과정에 이미지 조화 기법을 적용하여 합성 이미지의 질감과 밝기를 실제 이미지와 일치시켜 도메인 차이를 줄인다.
• 전역 맥락 유지와 에지 세부 정보 보존 사이의 최적 균형을 확보하기 위해 512×512로 다운샘플링하는 다중 해상도 훈련 전략을 적용한다.

실험 결과

연구 질문

• RQ1 트림랩이 없는 매트팅에서 일관성 있고 인간 인지와 일치하는 전경 정의를 어떻게 설정할 수 있는가?
• RQ2 주의 메커니즘을 활용한 다수준 특징 융합이 전경 완전성과 알파 매트릭스 정확도 향상에 얼마나 기여하는가?
• RQ3 데이터 생성 과정에서 이미지 조화 기법을 적용하면 도메인 차이를 크게 줄이고 실제 이미지 일반화 능력을 향상시킬 수 있는가?
• RQ4 계층적 추론 매트팅 네트워크에서 해상도와 특징 표현 간 최적의 균형은 무엇인가?
• RQ5 Real-19k와 같은 대규모 실제 이미지 매트팅 데이터셋은 트림랩이 없는 매트팅 방법의 평가 및 벤치마크 향상에 어떻게 기여하는가?

주요 결과

• 제안된 MFC-Net은 Real-19k 데이터셋에서 SAD 35.4, MSE 9.4, Grad 19.6, Conn 33.5를 기록하며 최신 기술 수준의 성능을 달성하였다.
• 제거 실험 결과 IA 모듈을 제거하면 MSE가 2.2 증가하고, GCF 모듈을 제거하면 MSE가 6.8 증가함을 확인하여 이들의 핵심적 역할을 입증하였다.
• 이미지 조화 기법은 일반화 능력을 향상시킨다: 512×512 다운샘플링과 조합했을 때 MSE가 15.5에서 9.4로 감소하여 도메인 적응 성능 향상이 뚜렷하게 나타났다.
• 1/4 다운샘플링(512×512)을 적용한 코arse 모듈이 최적의 균형을 이룬다. 전체 해상도 훈련은 국소 특징 학습에 악영향을 주어 성능이 열 劣하다.
• 19,000장의 실제 이미지로 구성된 Real-19k 데이터셋은 실제 이미지 매트팅 일반화 평가에 신뢰할 수 있는 기반을 제공하며, 기존 벤치마크를 능가한다.
• 기존의 트림랩이 없는 방법들인 LFM 및 MGMatting보다 실제 이미지에서 유의미한 성능 향상을 보였으며, SAD와 MSE가 각각 30% 이상 감소하였다.