[論文レビュー] MatteFormer: Transformer-Based Image Matting via Prior-Tokens

GyuTae Park, SungJoon Son+3 more|arXiv (Cornell University)|Mar 29, 2022

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、マットフォーマー（MatteFormer）を提案する。これは、トランプマップの領域（前景、背景、未知領域）のグローバル表現を表す「プライオリティトークン（prior-tokens）」を導入し、それらを独自のPASTブロックを介して自己注意機構に統合することで、性能を向上させるトランスフォーマー基盤の画像マッティングモデルである。本手法は、Composition-1kおよびDistinctions-646で最先端の結果を達成し、Composition-1kでは23.80のSADおよび4.03のMSEを記録しており、従来手法を著しく上回っている。

ABSTRACT

In this paper, we propose a transformer-based image matting model called MatteFormer, which takes full advantage of trimap information in the transformer block. Our method first introduces a prior-token which is a global representation of each trimap region (e.g. foreground, background and unknown). These prior-tokens are used as global priors and participate in the self-attention mechanism of each block. Each stage of the encoder is composed of PAST (Prior-Attentive Swin Transformer) block, which is based on the Swin Transformer block, but differs in a couple of aspects: 1) It has PA-WSA (Prior-Attentive Window Self-Attention) layer, performing self-attention not only with spatial-tokens but also with prior-tokens. 2) It has prior-memory which saves prior-tokens accumulatively from the previous blocks and transfers them to the next block. We evaluate our MatteFormer on the commonly used image matting datasets: Composition-1k and Distinctions-646. Experiment results show that our proposed method achieves state-of-the-art performance with a large margin. Our codes are available at https://github.com/webtoon/matteformer.

研究の動機と目的

• ユーザーが提供するトリムップをグローバルコンテキストとして効果的に活用するトランスフォーマー基盤のアーキテクチャを開発すること。
• 標準的なトランスフォーマーが画像マッティングにおいてグローバルコンテキストを捉えにくいため、トリムップ領域から導出されるプライオリティトークンを導入してその限界を補うこと。
• 自己注意機構にプライオリティトークンを統合することで、特徴表現を向上させる、変更されたスウィントランスフォーマー・ブロック（PAST）を設計すること。
• 標準的な画像マッティングベンチマーク上で、プライオリティトークン、プライオリティメモリ、および全体のアーキテクチャの有効性を評価すること。

提案手法

• 本手法では、トリムップ入力から得られる前景、背景、未知領域の各領域に対応するグローバルコンテキスト埋め込みとして、プライオリティトークンを導入する。
• 新しいブロックとして、スウィントランスフォーマーを拡張したPAST（Prior-Attentive Swin Transformer）を提案する。PASTは、PA-WSA（Prior-Attentive Window Self-Attention）を導入し、空間トークンに加えてプライオリティトークンにも注目する。
• プライオリティメモリ機構により、前のエンコーダーブロックから得たプライオリティトークンが蓄積され、後続のブロックに伝達され、階層的なグローバルコンテキスト統合が可能になる。
• スキップ接続を備えたシンプルなエンコーダ-デコーダアーキテクチャを採用し、各PASTブロックでトリムップ情報からプライオリティトークンを生成する。
• トランスフォーマー基盤のエンコーダーが inherently 大きな受容領域を持つため、ASPP（Atrous Spatial Pyramid Pooling）は冗長であると判明したため、使用を避ける。
• PA-WSAにおける自己注意機構は、空間トークンとプライオリティトークンを連結したセット上で注意を計算し、局所的特徴がグローバルな領域レベルの事前知識に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 トリムップ領域から導出されるプライオリティトークンは、トランスフォーマー基盤の画像マッティングモデルの性能向上に寄与するか？
• RQ2 自己注意機構にグローバル事前知識を統合することで、画像マッティングにおける特徴表現にどのような影響を与えるか？
• RQ3 プライオリティメモリ機構は、エンコーダーステージ全体にわたりグローバルコンテキストを維持・伝達する能力を向上させるか？
• RQ4 トランスフォーマー基盤の画像マッティングモデルにおいて、ASPPは有用であるか？（特に、内在的な大きな受容領域を持つ場合）
• RQ5 標準的なスウィントランスフォーマーブロックと比較して、提案されたPASTブロックは、注目動態および性能面でどのように差をつけるか？

主な発見

• MatteFormerは、Composition-1kデータセットで23.80のSADおよび4.03のMSEを達成し、最先端の性能を記録している。
• アブレーションスタディの結果、プライオリティトークン（特に未知領域のプライオリティトークン）を追加することで、プライオリティトークンなしのベースラインと比較してSADが最大2.63ポイント低下した。
• プライオリティメモリ機構は性能向上に寄与しており、完全なMatteFormerモデルでは23.80のSADを達成したが、プライオリティメモリなしでは24.19のSADであった。
• ASPPを搭載しないモデルがASPPを搭載したバージョンを上回る性能を示しており、トランスフォーマー基盤のエンコーダーが inherently 大きな受容領域を持つため、ASPPは冗長であることが示された。
• 注目マップの可視化により、特に未知領域のプライオリティトークンが複数の注目ヘッドで強く注目されていることが確認され、その情報量の高さが裏付けられた。
• パラメータ数（44.8M）とFLOPs（57.2G）が比較的低く抑えられており、強力な性能向上を達成しながらも、効率性を維持していることが示された。