[논문 리뷰] High-Resolution Deep Image Matting

Haichao Yu, Ning Xu외 3명|arXiv (Cornell University)|2020. 09. 14.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 고해상도 이미지 매트팅을 위한 새로운 딥러닝 프레임워크인 HDMatt를 제안한다. 이 프레임워크는 패치 기반 추론 전략과 패치 간 장거리 맥락적 의존성을 모델링하는 크로스패치 맥락 모듈(CPC)을 사용한다. 트리마프 유도 비국소(TGNL) 연산을 도입함으로써 관련된 패치들 간에 정보를 효과적으로 전파하여, Adobe Image Matting 및 AlphaMatting 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 실세계 5K×5K 이미지에서도 고정밀도 결과를 생성한다.

ABSTRACT

Image matting is a key technique for image and video editing and composition. Conventionally, deep learning approaches take the whole input image and an associated trimap to infer the alpha matte using convolutional neural networks. Such approaches set state-of-the-arts in image matting; however, they may fail in real-world matting applications due to hardware limitations, since real-world input images for matting are mostly of very high resolution. In this paper, we propose HDMatt, a first deep learning based image matting approach for high-resolution inputs. More concretely, HDMatt runs matting in a patch-based crop-and-stitch manner for high-resolution inputs with a novel module design to address the contextual dependency and consistency issues between different patches. Compared with vanilla patch-based inference which computes each patch independently, we explicitly model the cross-patch contextual dependency with a newly-proposed Cross-Patch Contextual module (CPC) guided by the given trimap. Extensive experiments demonstrate the effectiveness of the proposed method and its necessity for high-resolution inputs. Our HDMatt approach also sets new state-of-the-art performance on Adobe Image Matting and AlphaMatting benchmarks and produce impressive visual results on more real-world high-resolution images.

연구 동기 및 목표

• 제한된 GPU 메모리 등의 하드웨어 제약 조건 하에서 고해상도(HR) 이미지 매트팅의 과제를 해결한다.
• 전체 이미지 처리 요구 조건으로 인해 기존 딥러닝 방법이 고해상도 입력에서 실패하는 문제를 해결한다.
• 기존 패치 기반 접근 방식의 두 가지 핵심 단점을 해결한다: 다운샘플링으로 인한 세부 사항 손실과 패치 간 일관성 결여.
• 패치 간 장거리 맥락적 의존성을 모델링하여 실세계 고해상도 이미지(예: 5000×5000)에서 실용적이고 고품질의 매트팅을 가능하게 한다.
• 학습 가능한 트리마프 유도 메커니즘을 도입하여 패치 간 특징 전파를 향상시켜 알파 매트 추정 성능을 향상시킨다.

제안 방법

• 패치 기반 추론 전략을 채택한다: 고해상도 입력 이미지를 더 작은 패치로 자르고 처리하여 GPU 메모리 오버플로우를 방지한다.
• 비인접 패치 간 장거리 맥락적 의존성을 명시적으로 모델링하기 위해 크로스패치 맥락(CPC) 모듈을 제안한다.
• CPC 내부에서 트리마프의 픽셀 단위 레이블을 사용하여 패치 간 상관관계를 계산하는 트리마프 유도 비국소(TGNL) 연산을 설계한다.
• 각 쿼리 패치에 대해 특징 공간에서 유사도 기반으로 K개의 컨텍스트 패치를 선별하고, TGNL을 통해 이들 패치의 특징을 집계한다. 이 과정은 전경, 배경, 알 수 없는 영역 레이블에 의해 유도된다.
• CPC 모듈을 갖춘 U-Net 유사 인코더-디코더 백본을 사용하여 각 패치의 알파 매트를 예측한 후, 스티칭 전략을 통해 전체 해상도 매트를 재구성한다.
• 트리마프를 활용해 주의 메커니즘 계산을 유도한다: 쿼리 패치의 알 수 없는 영역 픽셀은 기준 패치의 해당 영역(FG/ BG/ UNK)과 비교하여 타겟된 정보 전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 하드웨어 메모리 제약 조건 하에서 딥러닝 기반 이미지 매트팅 방법이 고해상도 이미지(예: 5000×5000)에서 고품질 결과를 달성할 수 있는가?
• RQ2 패치 기반 매트팅에서 일관성과 세부 사항의 정밀도를 유지하기 위해 패치 간 맥락적 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 트리마프 유도 주의 메커니즘이 먼 거리의 패치들 간 특징 집계에 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 시각적 품질과 정량적 지표 측면에서 단순 패치 분할 및 다운샘플링 전략과 비교해 어떻게 성능을 내는가?
• RQ5 패치 크기 및 컨텍스트 패치 수의 변동에 대해 모델 성능이 얼마나 강인한가?

주요 결과

• HDMatt는 Adobe Image Matting (AIM) 벤치마크에서 SAD 32.2로 기존 방법을 초월하는 새로운 최신 기술 수준 성능을 달성한다.
• AlphaMatting 벤치마크에서 HDMatt는 SAD 32.2 및 MSE 6.9×10⁻³을 기록하여 뛰어난 정량적 성능을 입증한다.
• 절단 분석 결과, TGNL 연산을 포함한 CPC 모듈은 기준 모델 대비 SAD를 8.3점 감소시켜(41.1 → 33.5) 그 효과를 입증한다.
• K=3개의 컨텍스트 패치만으로도 근사 최적 성능(SAD 32.8)을 달성하여, 제한된 컨텍스트 조건에서도 방법의 강인성과 효율성을 보여준다.
• 실세계 고해상도 이미지에 대한 시각적 결과에서 HDMatt는 세부 사항을 유지하고 패치 단위의 일관성 결여를 방지하는 것으로 나타났다. 이는 다운샘플링이나 단순 패치 분할 방식과 대조된다.
• 주의 시각화 결과, 모델이 장거리에 위치한 의미적으로 유사한 패치에 주의를 기울일 수 있음을 확인하여, 국소 수용장 이론을 초월한 장거리 맥락 이해 능력을 보여준다.