[논문 리뷰] TransMatting: Tri-token Equipped Transformer Model for Image Matting

Huanqia Cai, Fanglei Xue외 2명|arXiv (Cornell University)|2023. 03. 11.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 투명하고 비색채도가 낮은 물체에 대해 성능이 떨어지는 기존 이미지 매트팅 방법의 문제를 해결하기 위해, 전경, 배경, 알 수 없는 영역를 나타내는 가속 가능한 토큰 표현인 트라이토큰(tri-token)을 도입한 비전 트랜스포머 기반의 이미지 매트팅 모델인 TransMatting을 제안한다. 이는 장거리 특징 학습을 향상시키고, 투명한 물체나 비색채도가 낮은 물체에서의 성능을 향상시킨다. 기존의 트라이맵 연결 방식을 트라이토큰 주입으로 대체함으로써, Composition-1k, AIM-500, 그리고 새로운 Transparent-460 데이터셋을 포함한 벤치마크에서 최신 기술(SOTA) 성능을 달성하였으며, 기존 방법 대비 최대 20%의 MSE 감소와 10%의 SAD 감소를 기록하였다.

ABSTRACT

Image matting aims to predict alpha values of elaborate uncertainty areas of natural images, like hairs, smoke, and spider web. However, existing methods perform poorly when faced with highly transparent foreground objects due to the large area of uncertainty to predict and the small receptive field of convolutional networks. To address this issue, we propose a Transformer-based network (TransMatting) to model transparent objects with long-range features and collect a high-resolution matting dataset of transparent objects (Transparent-460) for performance evaluation. Specifically, to utilize semantic information in the trimap flexibly and effectively, we also redesign the trimap as three learnable tokens, named tri-token. Both Transformer and convolution matting models could benefit from our proposed tri-token design. By replacing the traditional trimap concatenation strategy with our tri-token, existing matting methods could achieve about 10% improvement in SAD and 20% in MSE. Equipped with the new tri-token design, our proposed TransMatting outperforms current state-of-the-art methods on several popular matting benchmarks and our newly collected Transparent-460.

연구 동기 및 목표

• 유리,smoke, 털과 같이 매우 투명하고 비색채도가 낮은 물체에서 기존 이미지 매트팅 방법의 성능이 열 劣하는 문제를 해결하기 위해, 수신 영역가 제한되고 알려진 영역가 희박한 문제를 해결하고자 한다.
• 딥 네트워크 내에서 전통적인 트라이맵 연결 방식의 한계를 극복하기 위해, 장거리 관계와 의미적 맥락을 효과적으로 포착하지 못하는 문제를 해결하고자 한다.
• 자기주의 어텐션 메커니즘에 전경, 배경, 알 수 없는 영역의 의미를 효과적으로 통합할 수 있는 새로운 통합 표현인 트라이토큰을 설계하고자 한다.
• 어려운 실제 투명 물체 사례에서 모델 평가 및 벤치마크를 개선하기 위해 고해상도, 투명 물체 전용 데이터셋인 Transparent-460을 수집하고 공개하고자 한다.

제안 방법

• 전경, 배경, 알 수 없는 영역를 위한 세 가지 별도의 토큰을 사용하여 트라이맵의 가속 가능한 표현인 트라이토큰을 제안하며, RGB 입력에 대한 기존의 연결 방식을 대체한다.
• 비전 트랜스포머의 자기주의 어텐션 메커니즘에 트라이토큰을 통합하여 이미지 전역에서의 장거리 의존성에 대한 주의 기반 모델링을 가능하게 한다.
• 고수준 특징을 사용하여 다중 해상도 특징의 융합을 안내하는 다중 해상도 글로벌 가이드드 융합(MGF) 모듈을 설계하여, 디코더로 전달되는 특징 중 전경 관련 특징만 유지하도록 보장한다.
• L1, L2 및 구조적 손실의 조합을 사용하여 모델을 엔드 투 엔드로 훈련시켜 알파 매트릭스 예측을 최적화한다.
• 트라이토큰 메커니즘을 다중 단계에 걸쳐 삽입함으로써 컨volutional 네트워크에 적용함으로써, 트랜스포머 기반 및 CNN 기반 매트팅 아키텍처 양쪽에서 성능 향상을 이끌어낸다.
• 투명하고 비색채도가 낮은 물체를 포함한 고해상도 이미지 460장을 포함한 데이터셋 Transparent-460을 수집하고 공개한다.

실험 결과

연구 질문

• RQ1 제한된 수신 영역을 가진 CNN 대비 전반적인 자기주의 어텐션을 갖춘 비전 트랜스포머 아키텍처가 투명하고 비색채도가 낮은 물체에서 이미지 매트팅 성능을 향상시키는가?
• RQ2 기존의 트라이맵 연결 방식을 학습 가능한 트라이토큰 표현으로 대체함으로써 특징 학습 및 모델 일반화 성능이 향상되는가?
• RQ3 트라이토큰 메커니즘이 트랜스포머 및 컨volutional 신경망 아키텍처 양쪽에 효과적으로 적용되어 성능 향상을 이끌 수 있는가?
• RQ4 학습 중에 볼 수 없었던 실제 투명 물체, 특히 유리나 불꽃과 같은 복잡한 장면에서 모델의 일반화 능력은 어떠한가?
• RQ5 제안된 MGF 모듈이 배경 노이즈의 영향을 얼마나 줄이고 불확실한 영역에서 특징 융합을 향상시키는가?

주요 결과

• TransMattingV2는 Composition-1k 벤치마크에서 최신 기술(SOTA) 성능을 달성하였으며, AIM-500 실세계 데이터셋에서 15.70 SAD, 12.20 MSE, 11.36 Grad, 15.05 Conn.을 기록하여 모든 이전 방법을 능가하였다.
• 새로운 Transparent-460 테스트 세트에서 TransMattingV2는 181.94 SAD, 18.37 MSE, 40.99 Grad, 159.53 Conn.을 기록하여 매우 투명한 물체에서의 강력한 일반화 능력을 입증하였다.
• 기존의 트라이맵 연결 방식을 트라이토큰으로 대체함으로써, 여러 최신 기술 기반 모델에서 SAD 약 10%, MSE 약 20% 향상이 이루어졌다.
• 트라이토큰 메커니즘은 주의 맵 시각화를 통해 복잡한 투명한 장면에서도 전경 영역에 집중할 수 있도록 하여 배경 반응을 억제함을 보여주었다.
• MGF 모듈은 고수준 의미적 신호를 사용하여 특징 융합을 안내함으로써 배경 노이즈를 효과적으로 줄였으며, 불확실한 영역에서의 특징 표현을 향상시켰다.
• 제거 실험을 통해 트라이토큰 삽입이 알려진 픽셀 수가 극히 적은 영역에서 성능 향상에 크게 기여하며, 장거리 특징 학습에서의 역할을 검증하였다.