[論文レビュー] Segmenting Transparent Objects in the Wild

Enze Xie, Wenjia Wang+4 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Neural Network Applications参考文献 33被引用数 10

ひとこと要約

本稿では、透明物体セグメンテーションのための大規模な実世界データセットであるTrans10K（10,428枚の手動アノテーション付き画像を含む）を紹介し、物体境界を考慮した深層学習手法TransLabを提案する。TransLabは物体境界を活用することでセグメンテーション性能を向上させ、Trans10K上で20の最先端手法を著しく上回る性能を示した。深層学習の進展にもかかわらず、自然なシーンにおける透明物体セグメンテーションは依然としてほとんど解決されていない課題であることが示された。

ABSTRACT

Transparent objects such as windows and bottles made by glass widely exist in the real world. Segmenting transparent objects is challenging because these objects have diverse appearance inherited from the image background, making them had similar appearance with their surroundings. Besides the technical difficulty of this task, only a few previous datasets were specially designed and collected to explore this task and most of the existing datasets have major drawbacks. They either possess limited sample size such as merely a thousand of images without manual annotations, or they generate all images by using computer graphics method (i.e. not real image). To address this important problem, this work proposes a large-scale dataset for transparent object segmentation, named Trans10K, consisting of 10,428 images of real scenarios with carefully manual annotations, which are 10 times larger than the existing datasets. The transparent objects in Trans10K are extremely challenging due to high diversity in scale, viewpoint and occlusion as shown in Fig. 1. To evaluate the effectiveness of Trans10K, we propose a novel boundary-aware segmentation method, termed TransLab, which exploits boundary as the clue to improve segmentation of transparent objects. Extensive experiments and ablation studies demonstrate the effectiveness of Trans10K and validate the practicality of learning object boundary in TransLab. For example, TransLab significantly outperforms 20 recent object segmentation methods based on deep learning, showing that this task is largely unsolved. We believe that both Trans10K and TransLab have important contributions to both the academia and industry, facilitating future researches and applications.

研究の動機と目的

• 透明物体セグメンテーションのための大規模で実世界のデータセットが不足している問題に対処し、強力なモデルのトレーニングとベンチマークに不可欠な基盤を提供すること。
• 従来のデータセットの限界（合成画像生成、サンプル数の少なさ、手動アノテーションの欠如など）を克服すること。
• 背景の影響、隠蔽、透明度の変動に起因する視覚的曖昧性に対処できるセグメンテーション手法の開発。
• 制約のない環境下における透明物体のセグメンテーション性能向上に、物体境界が果たす役割を解明すること。
• スケール、視点、隠蔽、透明度の多様性を有する実世界データを用いて、透明物体セグメンテーションの新しいベンチマークを確立すること。

提案手法

• 透明物体のセグメンテーション用に、人間によるアノテーション付きセグメンテーションマスクを備えた10,428枚の実世界画像からなる大規模データセット「Trans10K」を提案。対象は「もの（things）」（例：ボトル）と「素材（stuff）」（例：窓）を含む。
• 物体境界を考慮した新しいセグメンテーションネットワーク「TransLab」を設計。境界特徴を活用するための専用の境界ストリームと境界アテンションモジュールを組み込み、境界の手がかりを用いた特徴学習を強化。
• 多スケールの監督と境界認識損失関数を用いて、Trans10Kデータセット上でTransLabをエンドツーエンドで訓練し、マスク品質を向上。
• 2本のブランチアーキテクチャ（セマンティックセグメンテーションストリームと境界予測ストリーム）を採用。アテンション機構による特徴統合により予測精度を向上。
• Trans10Kに見られるオブジェクトカテゴリーやシーンタイプの長尾分布に対処するため、データオーグメンテーションとクラスバランス戦略を適用。
• バリデーションおよびテストセットの「簡単」および「難しい」サブセットを用いて性能を評価し、モデルの弱みを特定し、耐性を確保。

実験結果

リサーチクエスチョン

• RQ1 大規模で実世界のベンチマークを用いて評価した場合、既存の深層学習手法は実世界の透明物体セグメンテーションにどの程度一般化するか？
• RQ2 物体境界の明示的モデリングは、視覚的曖昧性が著しい透明物体のセグメンテーション精度をどの程度向上させ得るか？
• RQ3 実世界のシーンにおけるスケール、視点、隠蔽、透明度の多様性は、セグメンテーションモデルの一般化性能と耐性にどのように影響するか？
• RQ4 TransLabのような境界認識アーキテクチャは、挑戦的で実世界的なデータセットにおいて、最先端手法を上回る性能を達成できるか？
• RQ5 Trans10Kで学習したモデルは、トレーニング分布外の外部データセットや実世界の画像（YouTube、TikTok、eBay、スマートフォン撮影画像など）に対してもどの程度一般化するか？

主な発見

• TransLabはTrans10Kベンチマークで最先端の性能を達成し、ハードテストセットにおけるmIoUの観点から、20の最近の深層学習ベースのセグメンテーション手法を著しく上回った。
• TransLabに組み込まれた境界アテンション機構により、テクスチャが弱い領域や高透明度領域で、ベースラインモデルが失敗するような場面でもより正確なセグメンテーションマスクが得られた。
• Trans10Kは13の多様なシーンと20のオブジェクトカテゴリをカバーし、合計10,428枚の実画像を含み、『素材（stuff）』が8,291インスタンス、『もの（things）』が1,544インスタンスである。これは、従来のデータセットの10倍以上に相当する。
• バリデーションおよびテストセットのハードサブセットは、既存モデルの顕著な限界を露呈し、自然な環境下での透明物体セグメンテーションが依然としてほとんど解決されていない課題であることを確認した。
• TransLabは外部データに対しても良好な一般化性能を示し、YouTube、TikTok、eBay、スマートフォン撮影画像など、分布シフトに強い性能を発揮した。
• 失敗事例から、極度の透明度、強い反射、隠蔽、半透明オブジェクトの隣接など、現在のモデルが依然として困難としている課題が明らかになった。特に境界の監視があってもこれらの状況は依然として挑戦的である。