[논문 리뷰] MatteFormer: Transformer-Based Image Matting via Prior-Tokens

GyuTae Park, SungJoon Son외 3명|arXiv (Cornell University)|2022. 03. 29.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 트림랩 영역(전경, 배경, 미정의)의 전역 표현인 프리오르 토큰(prior-tokens)을 도입하여 자기주의 기반(self-attention) 메커니즘에 통합하는 새로운 PAST 블록을 통해 성능을 향상시킨 트랜스포머 기반 이미지 매트팅 모델인 MatteFormer을 제안한다. 이 방법은 Composition-1k와 Distinctions-646에서 각각 23.80 SAD와 4.03 MSE를 기록하며 기존 방법들을 크게 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose a transformer-based image matting model called MatteFormer, which takes full advantage of trimap information in the transformer block. Our method first introduces a prior-token which is a global representation of each trimap region (e.g. foreground, background and unknown). These prior-tokens are used as global priors and participate in the self-attention mechanism of each block. Each stage of the encoder is composed of PAST (Prior-Attentive Swin Transformer) block, which is based on the Swin Transformer block, but differs in a couple of aspects: 1) It has PA-WSA (Prior-Attentive Window Self-Attention) layer, performing self-attention not only with spatial-tokens but also with prior-tokens. 2) It has prior-memory which saves prior-tokens accumulatively from the previous blocks and transfers them to the next block. We evaluate our MatteFormer on the commonly used image matting datasets: Composition-1k and Distinctions-646. Experiment results show that our proposed method achieves state-of-the-art performance with a large margin. Our codes are available at https://github.com/webtoon/matteformer.

연구 동기 및 목표

• 사용자가 제공한 트림랩을 전역 맥락으로 효과적으로 활용하는 트랜스포머 기반 아키텍처를 개발하는 것.
• 표준 트랜스포머가 이미지 매트팅에서 전역 맥락을 포착하는 데 한계를 보이는 문제를 해결하기 위해 트림랩 영역에서 유도된 프리오르 토큰을 도입하는 것.
• 자기주의 기반 주의 메커니즘에 프리오르 토큰을 통합하여 향상된 특징 표현을 가능하게 하는 수정된 스위인 트랜스포머 블록(PAST)을 설계하는 것.
• 표준 이미지 매트팅 벤치마크에서 프리오르 토큰, 프리오르 메모리, 전체 아키텍처의 효과를 평가하는 것.

제안 방법

• 프리오르 토큰은 트림랩 입력에서 유도된 각 영역(전경, 배경, 미정의)에 대한 전역 맥락 임베딩으로 도입된다.
• 새로운 블록인 PAST(Prior-Attentive Swin Transformer)가 제안되며, 이는 스위인 트랜스포머를 확장하여 공간 토큰과 프리오르 토큰 양쪽에 주의를 기울이는 PA-WSA(Prior-Attentive Window Self-Attention)를 추가한다.
• 프리오르 메모리 메커니즘은 이전 인코더 블록에서 유도된 프리오르 토큰을 누적하고 후속 블록으로 전달함으로써 계층적 전역 맥락 통합을 가능하게 한다.
• 스킵 연결을 갖춘 단순한 인코더-디코더 아키텍처를 사용하며, 각 PAST 블록에서 트림랩 정보를 바탕으로 프리오르 토큰을 생성한다.
• 트랜스포머 기반 인코더가 이미 큰 전역 수신장역할을 갖기 때문에, ASPP(Atrous Spatial Pyramid Pooling)는 불필요하다고 판단되어 사용하지 않는다.
• PA-WSA의 자기주의 기반 주의 메커니즘은 공간 토큰과 프리오르 토큰의 연결된 집합을 기반으로 주의를 계산하여 국소 특징이 전역 영역 수준의 사전 지식에 주의를 기울일 수 있도록 한다.

실험 결과

연구 질문

• RQ1 트림랩 영역에서 유도된 프리오르 토큰이 트랜스포머 기반 이미지 매트팅 모델의 성능을 향상시키는가?
• RQ2 자기주의 기반 주의 메커니즘에 전역 사전 지식을 통합할 경우 이미지 매트팅의 특징 표현에 어떤 영향을 미치는가?
• RQ3 프리오르 메모리 메커니즘이 인코더 단계를 거쳐 전역 맥락을 유지하고 전파하는 데 모델의 능력을 향상시키는가?
• RQ4 트랜스포머 기반 이미지 매트팅 모델에서 ASPP는 유용한가? (특히 전역 수신장역할이 이미 크기 때문에)
• RQ5 기본 스위인 트랜스포머 블록과 비교했을 때 제안된 PAST 블록은 주의 다이내믹스와 성능 측면에서 어떻게 다른가?

주요 결과

• MatteFormer는 Composition-1k 데이터셋에서 SOTA 수준의 SAD 23.80과 MSE 4.03을 기록하며 이전 방법들을 크게 능가한다.
• 제거 실험 결과, 프리오르 토큰(특히 미정의 영역 프리오르 토큰)을 추가하면 기준 모델 대비 SAD가 최대 2.63 포인트 감소함을 확인하였다.
• 프리오르 메모리 메커니즘이 성능 향상에 기여하며, 전체 MatteFormer 모델은 23.80 SAD를 기록한 반면, 프리오르 메모리가 없는 버전은 24.19 SAD를 기록하였다.
• ASPP가 없는 모델이 ASPP가 있는 버전보다 성능이 뛰어나, 트랜스포머 기반 인코더의 큰 내재 수신장역할로 인해 ASPP가 중복됨을 시사한다.
• 주의 맵의 시각화 결과, 특히 미정의 영역 프리오르 토큰이 여러 주의 헤드에서 강하게 주목받는 것으로 나타나, 정보성 있는 역할을 하고 있음을 확인하였다.
• 강력한 성능 향상에도 불구하고 상대적으로 낮은 파라미터 수(44.8M)와 FLOPs(57.2G)를 유지하여 효율성을 입증하였다.