[논문 리뷰] Hierarchical Opacity Propagation for Image Matting

Yaoyi Li, Qingyao Xu외 1명|arXiv (Cornell University)|2020. 04. 07.

Image Enhancement Techniques참고 문헌 49인용 수 12

한 줄 요약

이 논문은 전역 및 국소 주의 기반 전파 블록을 사용하여 다중 해상도 특징 맵을 통해 은폐 메시지 전파를 명시적으로 모델링하는 새로운 딥러닝 프레임워크인 계층적 은폐 전파(Hierarchical Opacity Propagation, HOP)를 제안한다. 척도에 민감하지 않은 위치 인코딩과 무작위 보간 증강을 통합함으로써 HOP는 Composition-1k 및 alphamatting.com 벤치마크에서 기존 방법보다 정확도와 강건성 면에서 최고 성능을 기록한다.

ABSTRACT

Natural image matting is a fundamental problem in computational photography and computer vision. Deep neural networks have seen the surge of successful methods in natural image matting in recent years. In contrast to traditional propagation-based matting methods, some top-tier deep image matting approaches tend to perform propagation in the neural network implicitly. A novel structure for more direct alpha matte propagation between pixels is in demand. To this end, this paper presents a hierarchical opacity propagation (HOP) matting method, where the opacity information is propagated in the neighborhood of each point at different semantic levels. The hierarchical structure is based on one global and multiple local propagation blocks. With the HOP structure, every feature point pair in high-resolution feature maps will be connected based on the appearance of input image. We further propose a scale-insensitive positional encoding tailored for image matting to deal with the unfixed size of input image and introduce the random interpolation augmentation into image matting. Extensive experiments and ablation study show that HOP matting is capable of outperforming state-of-the-art matting methods.

연구 동기 및 목표

• 기존 딥러닝 기반 매트팅 방법에서 은폐 전파가 암묵적임에 따른 한계를 해결하기 위해 의미 수준 간에 명시적이고 구조적인 전파를 도입하기 위해.
• 전용 HOP 블록을 통해 장거리 및 국소적 맥락 인식 은폐 전달 기능을 제공함으로써 고해상도 이미지에서의 매트팅 정확도를 향상시키기 위해.
• 척도에 민감하지 않은 위치 인코딩 메커니즘을 사용하여 다양한 크기의 입력 이미지를 효과적으로 처리하기 위해.
• 이미지 매트팅을 위한 새로운 랜덤 보간 증강 전략을 통해 일반화 능력과 강건성을 향상시키기 위해.
• 제안된 계층적 전파, 위치 인코딩, 증강 전략의 효과를 아블레이션 스터디와 벤치마크 평가를 통해 검증하기 위해.

제안 방법

• 모델은 외관 인코더와 HOP 디코더로 구성된 이중 브랜치 네트워크를 사용하며, 전역 및 국소 HOP 블록을 통해 다중 해상도 특징 맵 간에 은폐 특징을 전파한다.
• 각 HOP 블록은 이중 소스 주의 메커니즘을 사용한다: 쿼리로 외관 특징을, 키/밸류로 은폐 특징을 사용하여 외관 인식 기반의 은폐 전파를 가능하게 한다.
• 전역 HOP 블록은 저해상도의 의미 정보가 풍부한 특징에서 장거리 맥락을 통합하여 초도 알파 예측을 안내한다.
• 국소 HOP 블록은 국소 이웃 주의를 사용해 은폐를 전파함으로써 고해상도 특징을 정밀하게 보정하여 흐림 아티팩트를 감소시킨다.
• 상대적 위치 인코딩 기반으로 척도에 민감하지 않은 위치 인코딩을 도입하여 다양한 입력 크기에서 성능을 유지한다.
• 학습 중에 랜덤 보간 증강을 적용하여 다양한 이미지 척도를 시뮬레이션하고 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 의미 수준 간에 명시적 계층적 은폐 전파가 암묵적 또는 자기 주의 기반 방법보다 이미지 매트팅 성능을 향상시키는가?
• RQ2 척도에 민감하지 않은 위치 인코딩의 통합이 다양한 크기의 입력에서 매트팅 정확도에 어떤 영향을 미치는가?
• RQ3 랜덤 보간 증강 전략이 딥 이미지 매트팅 모델의 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 전역 및 국소 HOP 블록이 최종 알파 매트의 품질에 각각 어떤 기여를 하는가?
• RQ5 각 구성 요소(HOP 블록, 위치 인코딩, 증강)가 전체 성능 향상에 기여하는 비율은 어떻게 되는가?

주요 결과

• HOP 매트팅은 모든 구성 요소를 사용할 때 Composition-1k 테스트 세트에서 SAD 28.12와 MSE 5.8 × 10⁻³을 기록하여 이전 최고 성능 방법을 초월한다.
• 아블레이션 스터디 결과, HOP 블록을 제거할 경우 성능 저하가 발생하며, 전체 HOP 구조(전역 + 3개의 국소 블록)가 가장 우수한 SAD(34.82)와 MSE(8.99)를 기록한다.
• 척도에 민감하지 않은 위치 인코딩, 트림랩 임bed딩, 랜덤 보간 증강의 조합으로 SAD는 34.82에서 28.12로, MSE는 9.0에서 5.8 × 10⁻³으로 감소한다.
• 기울기 맵의 시각화 결과 HOP 모델이 전역적으로 유사한 외관 영역에 주의를 기울이는 반면, HOP가 없는 모델은 국소적으로만 주의를 기울이는 것으로 확인되어 계층적 전파 메커니즘이 검증된다.
• alphamatting.com 벤치마크에서 HOP 매트팅은 모든 지표와 트림랩 유형에서 평균 순위 최고를 기록하여 강건성과 우수성을 입증한다.
• 이 방법은 11GB 이하의 GPU 메모리만을 요구하여, Context-aware Matting 및 Deep Matting와 달리 고해상도 이미지에 대해 다운샘플링 없이 추론이 가능하다.