[論文レビュー] A Unified Efficient Pyramid Transformer for Semantic Segmentation

Fangrui Zhu, Yi Zhu+4 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 71被引用数 4

ひとこと要約

本稿では、文脈モデリングと境界精錬を統合的に最適化する、統合的で効率的なトランスフォーマー基盤フレームワークであるUN-EPTを提案する。ピラミッドトランスフォーマーにおけるスパースサンプリング戦略により長距離の文脈を捉え、軽量な空間ブランチにより適応的な境界詳細を処理することで、ADE20Kで50.5のmIoUという最先端性能を達成し、GPUメモリ使用量はたったの8.5GBにとどまる。これは、より大きなモデルと高いメモリコストを要する手法を上回る性能を発揮している。

ABSTRACT

Semantic segmentation is a challenging problem due to difficulties in modeling context in complex scenes and class confusions along boundaries. Most literature either focuses on context modeling or boundary refinement, which is less generalizable in open-world scenarios. In this work, we advocate a unified framework(UN-EPT) to segment objects by considering both context information and boundary artifacts. We first adapt a sparse sampling strategy to incorporate the transformer-based attention mechanism for efficient context modeling. In addition, a separate spatial branch is introduced to capture image details for boundary refinement. The whole model can be trained in an end-to-end manner. We demonstrate promising performance on three popular benchmarks for semantic segmentation with low memory footprint. Code will be released soon.

研究の動機と目的

• 文脈モデリングや境界精錬に偏った既存のセマンティックセグメンテーション手法の限界を是正し、オープンワールド環境下でも最適でない性能を発揮するのを防ぐこと。
• 複雑なシーンにおいて、グローバルな文脈理解の向上とオブジェクト境界の精錬を同時に実現する統合フレームワークの開発。
• セマンティックセグメンテーションのような密度予測タスクにおける、標準的なトランスフォーマーの高いメモリおよび計算コストを低減すること。
• マルチスケールの文脈特徴と微細な空間的詳細を効果的に組み合わせたエンドツーエンド学習が可能なモデルの構築。
• 大規模事前学習を必要とせず、最小限のメモリフットプリントで最先端の性能を達成すること。

提案手法

• 高解像度特徴マップの効率的処理を可能にするために、トランスフォーマーに基づくデコーダーでスパースサンプリング戦略を採用し、アテンション計算量とメモリ使用量を削減する。
• バックボーンネットワークから得られるマルチスケール特徴を活用し、異なる受容野において文脈表現を豊かにする、効率的ピラミッドトランスフォーマー（EPT）モジュールを導入する。
• 局所的な画像詳細を捉え、セグメンテーション境界を精錬する目的で、3層のバックボーンと2つのヘッドを備えた別個の空間ブランチを設計する。
• 空間ブランチからの特徴を、トランスフォーマー・デコーダーにおける入力に適応したクエリとして使用し、局所的な画像コンテンツに基づいた動的文脈モデリングを可能にする。
• 文脈ブランチ（EPT）と空間ブランチを統合したエンドツーエンド学習可能な統合ネットワーク（UN-EPT）として組み合わせ、セグメンテーション品質と境界精度の共同最適化を実現する。
• 入力が画像ピxlsのフラットなシーケンスで出力がクラスラベルのシーケンスであるセット予測定式を採用し、トランスフォーマーによるシーケンス・ツー・シーケンス学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 計算効率を損なわずに、文脈モデリングと境界精錬の両方を効果的にバランスさせる統合的ディープラーニングフレームワークは、セマンティックセグメンテーションにおいて実現可能か？
• RQ2 自己アテンション機構は、密度予測タスクにおける高解像度入力に対応できるほど、計算的に効率化可能か？
• RQ3 マルチスケール特徴の統合とスパースアテンションは、複雑なシーンにおける長距離依存関係のモデリングにどのような影響を与えるか？
• RQ4 軽量な空間ブランチは、モデルの複雑さを増さずに境界局所化をどの程度向上できるか？
• RQ5 トランスフォーマー基盤アーキテクチャは、従来の手法と比較して顕著に低いメモリ消費量で最先端の性能を達成可能か？

主な発見

• DeiTをバックボーンとして使用した場合、ADE20Kベンチマークで50.5のmIoUを達成し、同アーキテクチャを用いた先行研究を上回る性能を示した。
• ResNet50をバックボーンとして使用した場合、ADE20Kで46.1のmIoUを達成し、大規模事前学習を必要としない状態でも強力な性能を発揮した。
• トレーニング中に使用するGPUメモリはたった8.5GBであり、SETR（30.0GB）や他のトランスフォーマー基盤モデルと比較して顕著に低い。
• アブレーションスタディの結果、空間ブランチの導入によりmIoUが1.1ポイント向上し、境界精錬における有効性が裏付けられた。
• ピラミッドレベルごとに16ポイントのサンプリングを実施した場合が最適な性能を示し、この閾値を超えてポイント数を増やしても性能に顕著な向上は見られなかった。
• 比較対象の全手法の中で、GFLOPsが99.1と最低水準に抑えられ、高い計算効率を示した。