[논문 리뷰] End-to-end Animal Image Matting.

Jizhizi Li, Jing Zhang외 2명|arXiv (Cornell University)|2020. 10. 30.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 새로운 AM-2k 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해 공유 인코더와 이중 디코더를 활용해 의미 분할과 세부 정보 인식을 동시에 학습하는 종단간 동물 이미지 마스킹 프레임워크인 GFM을 제안한다. 특히 합성 이미지와 실재 이미지 간 도메인 갭을 줄이기 위해 특화된 조합 전략(RSSN)을 도입함으로써 일반화 능력을 향상시켰다.

ABSTRACT

Extracting accurate foreground animals from natural animal images benefits many downstream applications such as film production and augmented reality. However, the various appearance and furry characteristics of animals challenge existing matting methods, which usually require extra user inputs such as trimap or scribbles. To resolve these problems, we study the distinct roles of semantics and details for image matting and decompose the task into two parallel sub-tasks: high-level semantic segmentation and low-level details matting. Specifically, we propose a novel Glance and Focus Matting network (GFM), which employs a shared encoder and two separate decoders to learn both tasks in a collaborative manner for end-to-end animal image matting. Besides, we establish a novel Animal Matting dataset (AM-2k) containing 2,000 high-resolution natural animal images from 20 categories along with manually labeled alpha mattes. Furthermore, we investigate the domain gap issue between composite images and natural images systematically by conducting comprehensive analyses of various discrepancies between foreground and background images. We find that a carefully designed composition route RSSN that aims to reduce the discrepancies can lead to a better model with remarkable generalization ability. Comprehensive empirical studies on AM-2k demonstrate that GFM outperforms state-of-the-art methods and effectively reduces the generalization error.

연구 동기 및 목표

• 복잡한 털과 외관 변화로 인해 기존 마스킹 방법이 어려움을 겪는 자연 이미지에서 정확한 동물 전경 추출 문제를 해결하기 위해.
• 사용자 제공 트림랩 또는 스케치에 의존하지 않고 원시 이미지에서 종단간 학습이 가능하도록 하기 위해.
• 합성 이미지로 구성된 훈련 데이터와 실재 자연 이미지 간의 도메인 갭을 체계적으로 분석하고 완화하기 위해.
• 2,000장의 고해상도 자연 동물 이미지와 정밀한 알파 마스킹을 포함한 고품질 벤치마크 데이터셋인 AM-2k를 구축하기 위해.
• 훈련 데이터에서 전경과 배경 이미지 간의 차이를 줄이기 위해 도메인 갭을 감소시키는 조합 전략(RSSN)을 설계하여 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• GFM 네트워크는 입력 이미지에서 계층적 특징을 추출하기 위해 공유 인코더를 사용한 후, 의미 분할과 세부 마스킹을 위한 두 개의 병렬 디코더를 적용한다.
• 의미 디코더는 거친 전경 마스크를 예측하고, 세부 디코더는 향상된 가장자리 및 질감 충실도를 갖춘 세밀한 알파 마스킹 예측을 수행한다.
• 의미 분할과 마스킹 목표를 균형 잡는 다중 작업 손실을 통해 두 디코더를 함께 훈련시켜 공동 특징 학습을 가능하게 한다.
• 실제 세계 이미지 통계를 모방함으로써 합성 이미지와 실재 이미지 간 도메인 갭을 줄이기 위해 새로운 조합 전략인 RSSN(역방향 스타일 합성 네트워크)을 도입한다.
• AM-2k 데이터셋에서 종단간으로 모델을 훈련시키며, 20개의 동물 카테고리에 속하는 2,000장의 고해상도 자연 동물 이미지와 인간 레이블링을 받은 알파 마스킹이 포함되어 있다.
• 합성 데이터와 실재 데이터에서 전경과 배경 이미지 간의 색상 분포, 텍스처, 공간 레이아웃의 차이를 비교함으로써 도메인 갭 분석을 수행한다.

실험 결과

연구 질문

• RQ1 사용자 제공 트림랩이나 스케치에 의존하지 않고 종단간 동물 이미지 마스킹 성능을 향상시키는 방법은 무엇인가?
• RQ2 고수준 의미 정보와 저수준 세부 정보는 동물 마스킹에서 어떤 역할을 하는가? 그리고 이들을 어떻게 함께 최적화할 수 있는가?
• RQ3 합성 이미지로 구성된 복합 이미지와 실재 자연 이미지 간의 도메인 갭이 마스킹 모델의 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ4 특화된 데이터 조합 전략이 도메인 불일치를 줄이고 실재 동물 이미지에서의 모델 일반화 능력을 향상시킬 수 있는가?
• RQ5 제안된 GFM 프레임워크는 자연 동물 이미지에서 정확도와 내구성 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• GFM은 AM-2k 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하였으며, 평균 절대 오차(MAE) 및 구조적 유사도(SSIM) 지표에서 모두 뛰어난 성능을 보였다.
• 제안된 RSSN 조합 전략은 도메인 갭 불일치를 크게 줄여 실재 자연 이미지에서의 모델 일반화 능력 향상에 뚜렷한 기여를 하였다.
• 제거 분석 결과, 이중 디코더를 통한 의미와 세부 정보의 동시 학습이 마스킹 정확도를 향상시키며, 특히 미세한 털과 복잡한 가장자리 처리에 유의미한 기여를 한다는 것이 확인되었다.
• AM-2k 데이터셋은 20개의 동물 카테고리에서 온 2,000장의 고해상도 이미지와 정밀한 인간 레이블링 알파 마스킹을 포함해 높은 다양성과 품질을 확보하였다.
• 포괄적인 분석 결과, 전경과 배경 이미지 간 분포 불일치—특히 색상과 텍스처 측면에서의 불일치—가 실재 이미지에서의 모델 성능 저하에 크게 기여하는 것으로 밝혀졌다.
• RSSN로 생성된 데이터로 훈련된 모델는 표준 복합 데이터로 훈련된 모델에 비해 실세계 테스트 이미지에 대해 더 우수한 일반화 성능을 보였으며, 일반화 오차가 감소한 것으로 나타났다.