[논문 리뷰] Trans2Seg: Transparent Object Segmentation with Transformer

Enze Xie, Wenjia Wang외 5명|arXiv (Cornell University)|2021. 01. 23.

Visual Attention and Saliency Detection인용 수 12

한 줄 요약

이 논문은 전역 수신장치와 학습 가능한 프로토타입 쿼리를 활용하여 성능을 향상시키는 투명 물체 세분화를 위한 새로운 트랜스포머 기반 방법인 Trans2Seg를 소개한다. 또한 11종의 투명 물체 카테고리로 구성된 대규모이고 세밀한 분류 기반 데이터셋인 Trans10K-v2를 제시하며, 이 도전적인 벤치마크에서 Trans2Seg가 기존의 CNN 기반 방법들을 크게 능가함을 보여준다.

ABSTRACT

This work presents a new fine-grained transparent object segmentation dataset, termed Trans10K-v2, extending Trans10K-v1, the first large-scale transparent object segmentation dataset. Unlike Trans10K-v1 that only has two limited categories, our new dataset has several appealing benefits. (1) It has 11 fine-grained categories of transparent objects, commonly occurring in the human domestic environment, making it more practical for real-world application. (2) Trans10K-v2 brings more challenges for the current advanced segmentation methods than its former version. Furthermore, a novel transformer-based segmentation pipeline termed Trans2Seg is proposed. Firstly, the transformer encoder of Trans2Seg provides the global receptive field in contrast to CNN's local receptive field, which shows excellent advantages over pure CNN architectures. Secondly, by formulating semantic segmentation as a problem of dictionary look-up, we design a set of learnable prototypes as the query of Trans2Seg's transformer decoder, where each prototype learns the statistics of one category in the whole dataset. We benchmark more than 20 recent semantic segmentation methods, demonstrating that Trans2Seg significantly outperforms all the CNN-based methods, showing the proposed algorithm's potential ability to solve transparent object segmentation.

연구 동기 및 목표

• 실생활 주거 환경에서 투명 물체 세분화를 위한 대규모이고 세밀한 분류 기반 데이터셋의 부족을 해결하기 위해.
• 투명 물체의 시각적 모호성과 낮은 무늬 특성에 효과적으로 대응할 수 있는 세분화 방법을 개발하기 위해.
• 전역적 맥락과 카테고리별 프로토타입을 활용하여 기존의 CNN 기반 모델보다 성능을 향상시키기 위해.
• 다양하고 현실적인 데이터셋을 사용하여 투명 물체 세분화의 새로운 벤치마크를 설정하기 위해.

제안 방법

• 전역 수신장치를 제공하여 CNN의 국소적 감지에 비해 장거리 의존성을 포착하는 트랜스포머 인코더를 사용한다.
• 트랜스포머 디코더에서 학습 가능한 프로토타입을 쿼리로 사용하여 세분화 작업을 사전 검색 문제로 재정의한다.
• 각 프로토타입은 데이터셋 내 11종의 투명 물체 카테고리 중 하나의 통계적 특성을 나타내도록 학습된다.
• 디코더는 인코더의 특징을 참조하고 유사도 계산을 통해 가장 관련성이 높은 프로토타입과 매칭한다.
• 예측 마스크와 진짜 마스크 간의 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 학습시킨다.
• 아키텍처는 새로 도입된 11종의 세밀한 분류 기반 투명 물체 카테고리로 구성된 Trans10K-v2에서 평가된다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 전역 맥락 모델링 덕분에 CNN 기반 모델보다 투명 물체 세분화에서 우수한 성능을 내는가?
• RQ2 학습 가능한 프로토타입을 쿼리 임베딩으로 사용할 경우, 투명 물체에 대한 카테고리별 표현 학습이 어떻게 향상되는가?
• RQ3 Trans10K-v2와 같이 더 크고 세밀한 분류 기반 데이터셋은 투명 물체 세분화 벤치마크의 난이도와 현실성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 주거 환경에서 발견되는 다양한 투명 물체 카테고리에 대해 잘 일반화되는가?

주요 결과

• Trans2Seg는 Trans10K-v2 벤치마크에서 최신 기술 성능을 달성하며, 평가된 모든 CNN 기반 세분화 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 트랜스포머 인코더의 전역 수신장치 덕분에, 특히 낮은 무늬 특성을 지닌 투명 물체에 대해 국소적 감지에 비해 더 나은 특징 표현이 가능했다.
• 디코더 쿼리로 학습 가능한 프로토타입을 사용함으로써 더 정확하고 카테고리 인식이 뛰어난 세분화 예측이 가능했다.
• Trans10K-v2는 11종의 세밀한 카테고리와 현실적인 주거 환경 장면 덕분에 Trans10K-v1보다 더 도전적인 벤치마크를 제공한다.
• 제안된 방법은 다양한 투명 물체 유형에 걸쳐 강력한 일반화 능력을 보이며, 시각적 변동성에 대한 강건성을 나타냈다.