[論文レビュー] Segmenting Transparent Object in the Wild with Transformer

Enze Xie, Wenjia Wang+5 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Neural Network Applications参考文献 41被引用数 25

ひとこと要約

本論文は Trans10K-v2 を導入し、11 カテゴリーを持つ細粒度の透明物体セグメンテーションデータセットと、Trans2Seg という transformer に基づくセグメンテーションモデルを提示します。Trans10K-v2 での最先端の結果を達成し、ADE20K へは転移します。

ABSTRACT

This work presents a new fine-grained transparent object segmentation dataset, termed Trans10K-v2, extending Trans10K-v1, the first large-scale transparent object segmentation dataset. Unlike Trans10K-v1 that only has two limited categories, our new dataset has several appealing benefits. (1) It has 11 fine-grained categories of transparent objects, commonly occurring in the human domestic environment, making it more practical for real-world application. (2) Trans10K-v2 brings more challenges for the current advanced segmentation methods than its former version. Furthermore, a novel transformer-based segmentation pipeline termed Trans2Seg is proposed. Firstly, the transformer encoder of Trans2Seg provides the global receptive field in contrast to CNN's local receptive field, which shows excellent advantages over pure CNN architectures. Secondly, by formulating semantic segmentation as a problem of dictionary look-up, we design a set of learnable prototypes as the query of Trans2Seg's transformer decoder, where each prototype learns the statistics of one category in the whole dataset. We benchmark more than 20 recent semantic segmentation methods, demonstrating that Trans2Seg significantly outperforms all the CNN-based methods, showing the proposed algorithm's potential ability to solve transparent object segmentation.

研究の動機と目的

• 現実世界のロボティクスとビジョンシステムにおける非常に透明な物体の堅牢なセグメンテーションを動機づける。
• 高品質マスクと機能的カテゴリを備えた大規模で多様な細粒度データセット（Trans10K-v2）を提供する。
• グローバルコンテキストと学習可能なカテゴリプロトタイプを活用して正確なマスク予測を実現する transformer ベースのセグメンテーションアーキテクチャ（Trans2Seg）を提案する。

提案手法

• Trans2Seg を提案する。これは CNN‑backbone に encoder–decoder Transformer アーキテクチャを組み合わせたもの。
• CNN バックボーン（last-stage dilation を用いた ResNet-50）を用いて特徴を抽出し、Transformer エンコーダーのための特徴マップを提供する。
• 学習可能なクラスプロトタイプをクエリとして使用し、エンコーダ特徴に注目する Transformer デコーダーを採用し、辞書のようなカテゴリ参照を可能にする。
• デコーダーのアテンションマップを高解像度の CNN 特徴と小さな畳み込みヘッドでアップサンプリング・融合し、argmax による最終的なピクセル単位分類を実現する。
• Flatten した特徴マップの空間情報を回復するために Transformer エンコーダーへ位置埋め込みを導入する。
• Transformer エンコーダー-デコーダー設計を SETR および DETR と比較し、カテゴリプロトタイプ クエリをセマンティックセグメンテーションの鍵となる差異として強調する。

実験結果

リサーチクエスチョン

• RQ1 transformer ベースのパイプラインは CNN ベースの手法よりも細粒度の透明物体セグメンテーションを改善できるか。
• RQ2 学習可能なカテゴリプロトタイプを用いた辞書参照としてのセグメンテーションモデリングは、マスク品質とカテゴリ識別性を向上させるか。
• RQ3 Trans2Seg は大規模で細粒度の透明物体データセットおよび ADE20K のような一般的なセグメンテーション benchmarks でどの程度性能を発揮するか。

主な発見

• Trans10K-v2 には 10,428 枚の画像が含まれ、11 の細粒度カテゴリ（shelf, jar, freezer, window, glass door, eyeglass, cup, glass wall, glass bowl, water bottle, storage box）が存在する。
• Trans2Seg は Trans10K-v2 で CNN ベースの手法を大幅に上回り、72.15% mIoU と 94.14% ピクセル精度を達成（従来の最先端 TransLab の 69.00 mIoU に対して）
• Transformer エンコーダーは CNN より大きなグローバル受容野を提供し、透明物体のセグメンテーションを改善する。
• CNN デコーダーを、学習可能なカテゴリプロトタイプをクエリとして使用する Transformer デコーダーに置換すると、アブレーションでさらに mIoU が改善（最大 72.1% まで）する。
• ADE20K では Trans2Seg は 39.7 mIoU に達し、一般的なセグメンテーションタスクへの転移性を示す。