[論文レビュー] Trans2Seg: Transparent Object Segmentation with Transformer

Enze Xie, Wenjia Wang+5 more|arXiv (Cornell University)|Jan 23, 2021

Visual Attention and Saliency Detection被引用数 12

ひとこと要約

本稿では、グローバルな受容 field と学習可能なプロトタイプクエリを活用して性能を向上させる、透明物体セグメンテーションのための新しいトランスフォーマー基盤手法であるTrans2Segを紹介する。また、11種類の透明物体カテゴリを含む大規模で細分化されたデータセットであるTrans10K-v2を提示し、この挑戦的なベンチマークにおいて、Trans2Segが既存のCNNベースの手法を著しく上回ることを示している。

ABSTRACT

This work presents a new fine-grained transparent object segmentation dataset, termed Trans10K-v2, extending Trans10K-v1, the first large-scale transparent object segmentation dataset. Unlike Trans10K-v1 that only has two limited categories, our new dataset has several appealing benefits. (1) It has 11 fine-grained categories of transparent objects, commonly occurring in the human domestic environment, making it more practical for real-world application. (2) Trans10K-v2 brings more challenges for the current advanced segmentation methods than its former version. Furthermore, a novel transformer-based segmentation pipeline termed Trans2Seg is proposed. Firstly, the transformer encoder of Trans2Seg provides the global receptive field in contrast to CNN's local receptive field, which shows excellent advantages over pure CNN architectures. Secondly, by formulating semantic segmentation as a problem of dictionary look-up, we design a set of learnable prototypes as the query of Trans2Seg's transformer decoder, where each prototype learns the statistics of one category in the whole dataset. We benchmark more than 20 recent semantic segmentation methods, demonstrating that Trans2Seg significantly outperforms all the CNN-based methods, showing the proposed algorithm's potential ability to solve transparent object segmentation.

研究の動機と目的

• 実世界の家庭環境における透明物体セグメンテーションのための、大規模で細分化されたデータセットの不足に対処すること。
• 透明物体の視覚的曖昧さと低テクスチャ性に対処できるセグメンテーション手法を開発すること。
• グローバルなコンテキストとカテゴリ固有のプロトタイプを活用することで、既存のCNNベースのモデルを上回る性能を実現すること。
• 多様で現実的なデータセットを用いて、透明物体セグメンテーションの新しいベンチマークを確立すること。

提案手法

• トランスフォーマーのエンコーダーを用いて、CNNの局所的受容領域を超える長距離依存関係を捉えるグローバルな受容領域を提供する。
• トランスフォーマーのデコーダーで、学習可能なプロトタイプをクエリとして用いることで、セグメンテーションタスクを辞書検索問題に再定式化する。
• 各プロトタイプは、データセット内の11種類の透明物体カテゴリの1つを統計的特徴として学習する。
• デコーダーはエンコーダーからの特徴に注目し、類似度計算を用いて最も関連性の高いプロトタイプにマッチングする。
• 予測マスクとアノテーションの間の交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• アーキテクチャは、11種類の細分化された透明物体カテゴリを含む新規に導入されたデータセットTrans10K-v2で評価される。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーのアーキテクチャが、グローバルコンテキストモデリングにより、CNNベースのモデルを上回る性能を示せるか？
• RQ2 クエリ埋め込みとしての学習可能なプロトタイプの使用が、透明物体のカテゴリ固有の表現学習をどのように向上させるか？
• RQ3 Trans10K-v2のような大規模で細分化されたデータセットは、透明物体セグメンテーションベンチマークの難易度と現実性をどの程度高めるか？
• RQ4 提案手法は、家庭環境に見られる多様な透明物体カテゴリに良好に一般化できるか？

主な発見

• Trans2Segは、Trans10K-v2ベンチマークで最先端の性能を達成し、評価されたすべてのCNNベースのセグメンテーション手法を著しく上回っている。
• トランスフォーマーのエンコーダーが有するグローバルな受容領域により、特に低テクスチャの透明物体において、CNNの局所的受容領域に比べて優れた特徴表現が可能である。
• デコーダークエリとしての学習可能なプロトタイプの使用により、より正確でカテゴリに特化したセグメンテーション予測が得られる。
• Trans10K-v2は、11種類の細分化されたカテゴリと現実的な家庭の風景を備えるため、Trans10K-v1に比べてより挑戦的なベンチマークを提供する。
• 提案手法は、家庭環境に見られる多様な透明物体タイプにわたり強力な一般化性能を示しており、視覚的変動に対しても頑健であることが示唆される。