[論文レビュー] TransMatting: Tri-token Equipped Transformer Model for Image Matting

Huanqia Cai, Fanglei Xue+2 more|arXiv (Cornell University)|Mar 11, 2023

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、透明な物体や顕著でない物体のマットイング性能を向上させるために、Vision Transformerに基づく画像マットイングモデルであるTransMattingを提案する。本手法は、前景、背景、未知領域のトリマップ意味を表す学習可能トークン「tri-token」を導入し、長距離特徴抽出を強化する。従来のトリマップ連結をtri-tokenのインジェクションに置き換えることで、Composition-1k、AIM-500、および新規のTransparent-460データセットにおいて最先端の結果を達成し、既存手法に比べてMSEが最大20%低減され、SADが10%低減された。

ABSTRACT

Image matting aims to predict alpha values of elaborate uncertainty areas of natural images, like hairs, smoke, and spider web. However, existing methods perform poorly when faced with highly transparent foreground objects due to the large area of uncertainty to predict and the small receptive field of convolutional networks. To address this issue, we propose a Transformer-based network (TransMatting) to model transparent objects with long-range features and collect a high-resolution matting dataset of transparent objects (Transparent-460) for performance evaluation. Specifically, to utilize semantic information in the trimap flexibly and effectively, we also redesign the trimap as three learnable tokens, named tri-token. Both Transformer and convolution matting models could benefit from our proposed tri-token design. By replacing the traditional trimap concatenation strategy with our tri-token, existing matting methods could achieve about 10% improvement in SAD and 20% in MSE. Equipped with the new tri-token design, our proposed TransMatting outperforms current state-of-the-art methods on several popular matting benchmarks and our newly collected Transparent-460.

研究の動機と目的

• ガラス、煙、髪の毛など、非常に透明で顕著でない物体に対して、従来の画像マットイング手法が受ける制限（受容 field の制限と既知領域の疎らさ）を是正すること。
• 深層ネットワークにおける従来のトリマップ連結の限界を克服し、長距離関係と意味的文脈を効果的に捉えること。
• 自己注意機構に統合可能な、前景・背景・未知領域の意味を統合的に表現する新しいトリマップ表現「tri-token」を設計すること。
• 高解像度で透明物体に特化したデータセット（Transparent-460）を収集・公開し、実世界の挑戦的な透明物体ケースにおけるマットイングモデルの評価・ベンチマークをより適切に行うこと。

提案手法

• 前景、背景、未知領域の3つの異なるトークンを用いた、トリマップの学習可能表現であるtri-tokenを提案。これにより、従来のRGB入力との連結を置き換える。
• Vision Transformerの自己注意機構にtri-tokenを統合し、画像全体にわたるグローバルな注意駆動型の長距離依存関係モデリングを可能にする。
• 高レベル特徴を用いてマルチスケール特徴の融合をガイドするMulti-scale Global-guided Fusion（MGF）モジュールを設計。これにより、デコーダーに送られるのは、前景関連の特徴のみとなる。
• L1、L2、構造的損失の組み合わせを用いてエンドツーエンドでモデルを訓練し、アルファマット予測を最適化する。
• tri-token機構を複数段階にわたって注入することで、畳み込みネットワークにも適応可能とし、TransformerおよびCNNベースのマットイングアーキテクチャの両方で性能向上を実現する。
• 高解像度で透明物体に特化した460枚の画像を含むデータセットTransparent-460を収集・公開し、評価用に使用する。

実験結果

リサーチクエスチョン

• RQ1 受容 field が限られているCNNと比較して、グローバル自己注意を持つVision Transformerベースのアーキテクチャは、透明で顕著でない物体のマットイング性能を向上させることができるか？
• RQ2 従来のトリマップ連結を学習可能なtri-token表現に置き換えることで、画像マットイングにおける特徴学習とモデル一般化性能が向上するか？
• RQ3 tri-token機構は、Transformerおよび畳み込みニューラルネットワークアーキテクチャの両方に対して効果的に適用可能であり、性能向上をもたらすか？
• RQ4 モデルは、訓練時に見なかった実世界の透明物体、特にガラスや炎のような複雑なシーンにおいて、どの程度一般化性能を示すか？
• RQ5 提案されたMGFモジュールは、不確実性の高い領域における背景ノイズの影響をどの程度低減させ、特徴融合を改善するか？

主な発見

• TransMattingV2はComposition-1kベンチマークで最先端性能を達成し、AIM-500の実世界データセットでは15.70 SAD、12.20 MSE、11.36 Grad、15.05 Conn.を記録。すべての先行手法を上回った。
• 新規のTransparent-460テストセットでは、181.94 SAD、18.37 MSE、40.99 Grad、159.53 Conn.を達成。非常に透明な物体に対する強力な一般化性能を示した。
• 従来のトリマップ連結をtri-tokenに置き換えることで、複数の最先端ベースラインにおいてSADが約10%、MSEが約20%低減された。
• 注意マップの可視化により、複雑な透明シーンでもモデルが前景領域に注目できることを示した。背景応答が抑制されている。
• MGFモジュールは、高レベルの意味的ヒントを用いて特徴融合をガイドすることで、背景ノイズの影響を効果的に低減し、不確実性の高い領域における特徴表現を改善した。
• アブレーションスタディにより、tri-tokenインジェクションが、特に既知ピixelsが極めて少ない領域で顕著な性能向上をもたらすことが確認され、長距離特徴学習におけるその役割が裏付けられた。