[論文レビュー] ReSTR: Convolution-free Referring Image Segmentation Using Transformers

Namyup Kim, Dong-Won Kim+3 more|arXiv (Cornell University)|Mar 31, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

ReSTRは、視覚と言語のトランスフォーマー・エンコーダーを活用して長距離依存関係を捉え、マルチモーダル統合トランスフォーマーを用いて柔軟かつ適応的なクロスモダリティ相互作用を実現する、畳み込みを一切含まない最初の参照画像セグメンテーションモデルである。軽量で効率的なデコーダーを備え、先行手法と比較して計算コストを低減しながら、すべての公開ベンチマークで最先端の性能を達成した。

ABSTRACT

Referring image segmentation is an advanced semantic segmentation task where target is not a predefined class but is described in natural language. Most of existing methods for this task rely heavily on convolutional neural networks, which however have trouble capturing long-range dependencies between entities in the language expression and are not flexible enough for modeling interactions between the two different modalities. To address these issues, we present the first convolution-free model for referring image segmentation using transformers, dubbed ReSTR. Since it extracts features of both modalities through transformer encoders, it can capture long-range dependencies between entities within each modality. Also, ReSTR fuses features of the two modalities by a self-attention encoder, which enables flexible and adaptive interactions between the two modalities in the fusion process. The fused features are fed to a segmentation module, which works adaptively according to the image and language expression in hand. ReSTR is evaluated and compared with previous work on all public benchmarks, where it outperforms all existing models.

研究の動機と目的

• 参照画像セグメンテーションにおける視覚的・言語的モダリティ内での長距離依存関係を捉えることのできない畳み込みニューラルネットワークの限界を克服すること。
• 従来のモデルが採用する固定で手作業で設計された特徴統合手法の制限を乗り越え、視覚的・言語的特徴間の柔軟で適応的な相互作用を可能にすること。
• パッチレベルの予測を高解像度のピクセルレベル出力に精緻化する、軽量で効率的なセグメンテーションデコーダーを設計すること。
• 計算コストを最小限に抑える一方で、公開ベンチマークで最先端の性能を達成すること。

提案手法

• ReSTRは、重複のない画像パッチから特徴を抽出するためのビジョン・トランスフォーマー・エンコーダーを用い、自己注意機構によりグローバルなコンテキストを捉える。
• 言語のトランスフォーマー・エンコーダーを単語埋め込みに適用し、自然言語表現内の長距離依存関係をモデル化する。
• マルチモーダル統合トランスフォーマー・エンコーダーは、自己注意機構を用いて視覚的および言語的特徴を統合し、モダリティ間の動的で適応的な相互作用を可能にする。
• 統合エンコーダーは、クラスのシード埋め込みから適応的分類器を生成し、言語クエリで記述されたターゲットエンティティに特化した形で最適化される。
• 粗いから細かい段階へのセグメンテーションデコーダーは、適応的分類器をパッチレベル特徴に適用し、線形層によるアップサンプリングによりピクセルレベルのセグメンテーションマスクを出力する。
• 統合エンコーダーで重み共有を採用することで、パラメータ数を削減しつつ、性能の低下を最小限に抑える。

Figure 1 : Our convolution-free architecture for Referring image Segmentation using TRansformer (ReSTR) takes a set of non-overlapped image patches and that of word embeddings, and captures intra- and inter-modality interactions by transformers. Then, ReSTR takes a class seed embedding to produce an

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーを用いた畳み込みなしのアーキテクチャが、長距離依存関係をよりよくモデル化することで、CNNベースのモデルを上回る性能を発揮できるか？
• RQ2 自己注意に基づくマルチモーダル統合メカニズムが、連結・畳み込み統合よりも柔軟で適応的な視覚的・言語的特徴間の相互作用を実現できるか？
• RQ3 軽量で粗いから細かい段階へのセグメンテーションデコーダーが、計算コストを低減しつつ高い精度を達成できるか？
• RQ4 統合エンコーダー内のトランスフォーマー層の数が、性能と効率にどのように影響するか？

主な発見

• ReSTRは、参照画像セグメンテーションの4つの公開ベンチマークすべてで最先端の性能を達成し、従来のモデルを上回った。
• Gref検証セットでは、ReSTRは54.48%のIoUを達成し、次に優れた手法（ACM）の2.55ポイント上回った。
• 320×320の入力に対して52.29GのMACsにまで計算量を削減したが、高い精度を維持した。
• 4層の統合エンコーダーを搭載した場合、セグメンテーションデコーダーが1.67ポイントのIoU向上をもたらし、粗い予測の精緻化に有効であることが示された。
• 統合エンコーダーでの重み共有により、パラメータ数を122.87Mから108.70Mに削減し、性能低下はわずか0.41%にとどまった。これにより、高い効率性が実証された。
• 定性的な結果から、ReSTRは多様な言語表現、たとえば「タクシーの後ろにいる」といった関係的記述に対しても、ターゲット領域を正確に局所化できることを確認した。

Figure 2 : ( Left ) Overall architecture of ReSTR. (a) The feature extractors for the two modalities are composed on transformer encoders, independently. (b) The multimodal fusion encoder consists of the two transformer encoders: the visual-linguistic encoder and the linguistic-seed encoder . (c) Th