[논문 리뷰] $F$, $B$, Alpha Matting

Marco Forte, François Pitié|arXiv (Cornell University)|2020. 03. 17.

Image Enhancement Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 배치 크기가 1인 단일 모델을 사용하고, 수정된 인코더-디코더 아키텍처와 새로운 배제 손실을 도입하여, 이미지 매트팅에서 알파 매트릭스, 포그라운드, 배경 색상을 동시에 예측하는 저비용의 엔드 투 엔드 딥러닝 방법을 제안한다. 이는 계산 비용이나 메모리 비용을 증가시키지 않으면서도 Adobe Composition-1k 및 alphamatting.com 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Cutting out an object and estimating its opacity mask, known as image matting, is a key task in many image editing applications. Deep learning approaches have made significant progress by adapting the encoder-decoder architecture of segmentation networks. However, most of the existing networks only predict the alpha matte and post-processing methods must then be used to recover the original foreground and background colours in the transparent regions. Recently, two methods have shown improved results by also estimating the foreground colours, but at a significant computational and memory cost. In this paper, we propose a low-cost modification to alpha matting networks to also predict the foreground and background colours. We study variations of the training regime and explore a wide range of existing and novel loss functions for the joint prediction. Our method achieves the state of the art performance on the Adobe Composition-1k dataset for alpha matte and composite colour quality. It is also the current best performing method on the alphamatting.com online evaluation.

연구 동기 및 목표

• 기존 딥러닝 매트팅 방법이 알파 매트릭스만 예측하여 포그라운드 및 배경 색상을 복구하기 위해 후처리가 필요하다는 한계를 해결하기 위해.
• 알파, 포그라운드, 배경 색상의 동시 예측가능성이 매트팅 품질과 복합 이미지의 현실감에 미치는 영향을 탐색하기 위해.
• 모델 수렴과 성능에 크게 영향을 주는 학습 제도 선택, 특히 배치 크기와 정규화 방법을 규명하기 위해.
• 포그라운드 및 배경 색상 추정 향상을 위해 효과적인 손실 함수, 특히 새로운 배제 손실의 효과를 평가하기 위해.

제안 방법

• 이 방법은 세분화 네트워크 기반의 수정된 인코더-디코더 아키텍처를 사용하며, 알파 매트릭스, 포그라운드, 배경 색상의 세 가지 출력을 예측하도록 확장한다.
• 주요 학습 혁신은 배치 크기가 1인 것을 사용하는 것으로, 저자들이 이로 인해 수렴 속도와 최종 성능이 크게 향상됨을 입증한다.
• 모델은 알파에 대한 L1 손실, 포그라운드 및 배경에 대한 L1 손실, 그리고 새로운 배제 손실을 조합하여 학습된다. 배제 손실은 겹치거나 잘못된 색상 예측에 대해 페널티를 가한다.
• 배제 손실은 투명 영역에서 예측된 포그라운드 및 배경 색상이 상호 간섭하지 않도록 보장하여 복합 이미지의 현실감을 향상시킨다.
• 예측된 알파 매트릭스와 예측된 포그라운드 및 배경 색상을 융합하는 메커니즘이 도입되어 현실적인 복합 이미지를 생성한다.
• 테스트 시 증강(TTA) 기법이 적용되어 벤치마크 평가에서 일반화 능력과 성능을 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 포그라운드 및 배경 색상을 알파 매트릭스와 함께 동시 예측하는 것이 후처리 방법에 비해 매트팅 품질과 복합 이미지의 현실감을 향상시키는가?
• RQ2 특히 배치 크기와 정규화 레이어가 포함된 다양한 학습 제도가 알파 매트팅 네트워크의 수렴과 성능에 미치는 영향은 어떠한가?
• RQ3 경량적이고 저비용의 아키텍처 수정이 추론 비용을 증가시키지 않으면서도 동시 알파, 포그라운드, 배경 색상 예측에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 색상 번짐 방지를 개선하고 공간 일관성을 높이기 위해, 공동 예측 모델 학습에 가장 효과적인 손실 함수는 무엇인가?
• RQ5 배제 손실이 높은 투명도 영역에서 포그라운드 및 배경 색상 추정에 기여하는 방식은 어떠한가?

주요 결과

• Adobe Composition-1k 데이터셋에서 본 방법은 SAD 26.4, MSE 5.4×10³, 연결성(connectivity) 21.5를 기록하며 기존 방법들을 능가하는 최신 기술 수준 성능을 달성했다.
• alphamatting.com 벤치마크에서 본 방법은 총 평균 순위 6.7로 1위를 기록했으며, 연결성 지표 평균 순위 1.9를 기록하여 이전에 이 지표에서 높은 순위를 기록했던 Deep Image Matting조차도 뛰어넘었다.
• 배치 크기가 1인 것이 수렴과 성능에 매우 중요하며, 저자들이 이를 통해 이전 문헌에서 보고된 학습 실패의 원인을 설명할 수 있었다.
• 배제 손실은 포그라운드 및 배경 색상 추정을 크게 향상시켜 색상 번짐을 감소시키고 복합 이미지의 현실감을 높였다.
• 포그라운드 및 배경 색상의 동시 예측, 배제 손실, 융합 메커니즘의 조합으로, 단지 알파만 예측하는 방법 대비 연결성 점수에서 15% 향상된 결과를 도출했다.
• 테스트 시 증강(TTA)을 추가로 적용함으로써 성능이 추가로 향상되었으며, SAD는 25.8로 감소하고 연결성은 20.8로 낮아져 일반화 능력을 향상시킨다는 점이 확인되었다.