[論文レビュー] Multi-Scale High-Resolution Vision Transformer for Semantic Segmentation

Jiaqi Gu, Hyoukjun Kwon+7 more|arXiv (Cornell University)|Nov 1, 2021

Advanced Neural Network Applications参考文献 39被引用数 4

ひとこと要約

HRViTは、自己注意メカニズムを統合したマルチブランチアーキテクチャを用いて、空間的精度と意味的豊かさを向上させる、マルチスケールで高解像度のビジョントランスフォーマーバックボーンを提案する。ADE20Kでは50.20%のmIoU、Cityscapesでは83.16%のmIoUを達成し、MiT や CSWin などのSOTAモデルを+1.78 mIoU上回り、パラメータを28%削減し、FLOPsを21%削減した。

ABSTRACT

Vision Transformers (ViTs) have emerged with superior performance on computer vision tasks compared to convolutional neural network (CNN)-based models. However, ViTs are mainly designed for image classification that generate single-scale low-resolution representations, which makes dense prediction tasks such as semantic segmentation challenging for ViTs. Therefore, we propose HRViT, which enhances ViTs to learn semantically-rich and spatially-precise multi-scale representations by integrating high-resolution multi-branch architectures with ViTs. We balance the model performance and efficiency of HRViT by various branch-block co-optimization techniques. Specifically, we explore heterogeneous branch designs, reduce the redundancy in linear layers, and augment the attention block with enhanced expressiveness. Those approaches enabled HRViT to push the Pareto frontier of performance and efficiency on semantic segmentation to a new level, as our evaluation results on ADE20K and Cityscapes show. HRViT achieves 50.20% mIoU on ADE20K and 83.16% mIoU on Cityscapes, surpassing state-of-the-art MiT and CSWin backbones with an average of +1.78 mIoU improvement, 28% parameter saving, and 21% FLOPs reduction, demonstrating the potential of HRViT as a strong vision backbone for semantic segmentation.

研究の動機と目的

• ビジョントランスフォーマー（ViTs）が単一スケール・低解像度の特徴表現に起因するセマンティックセグメンテーションにおける限界を解消すること。
• HRNetにインspiredされたマルチブランチアーキテクチャを統合することで、高解像度でマルチスケールの特徴学習をViTに強化すること。
• 自己注意ブロック、フィードフォワードネットワーク、埋め込み層の共同最適化を通じて、マルチブランチViTの効率性とスケーラビリティを向上させること。
• AR/VRデバイスなどのリソース制約のあるプラットフォームで、密度予測タスクにおける性能と効率のバランスを図ること。
• 異種のマルチブランチ設計を有する純粋なViTバックボーンが、畳み込み型および逐次的ViTベースラインを上回るセグメンテーション精度と効率性を達成できることを示すこと。

提案手法

• 複数スケールにわたる特徴をネットワーク全体で維持・統合し、スケール間相互作用を可能にするマルチブランチで高解像度のアーキテクチャを導入する。
• 冗長なキー/バリューの削除と並列の畳み込みパスおよび非線形性を追加した拡張された局所自己注意メカニズムを提案し、表現力と効率性を向上させる。
• MLPブロック内のマルチスケール特徴抽出を強化するため、ミックスドスケール畳み込みフィードフォワードネットワーク（FFNs）を採用する。
• 計算コストを低減しつつ、低レベルの微細な特徴を保持するための効率的なHR畳み込みスタムとパッチ埋め込みレイヤーを設計する。
• 異なるブランチが異なるアーキテクチャ的要素（例：異なるウィンドウサイズ、注意タイプ）を用いることで、性能と効率のバランスを図る非均質なブランチ設計を実装する。
• 冗長性削減と補助ショートカットを含むブランチ・ブロック共同最適化技術を適用し、表現力に損なわれることなくモデル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチブランチビジョントランスフォーマーのアーキテクチャは、セマンティックセグメンテーションのための高解像度でマルチスケールの表現を効果的に学習できるか？
• RQ2 マルチブランチViTの高い計算コストは、性能を維持または向上させつつどのように軽減できるか？
• RQ3 高解像度ViTにおいて、効率性と表現品質のバランスを図るうえで、最も効果的なアーキテクチャ的要素と共同最適化戦略は何か？
• RQ4 HRNetの残差ブロックをViTブロックに置き換えることで、逐次的ViTバックボーンよりも密度予測タスクで優れた性能が得られるか？
• RQ5 非均質なマルチブランチ設計を有する純粋なViTバックボーンは、畳み込み型HRNetバージョンおよび逐次的ViTモデルを上回るセマンティックセグメンテーション性能を達成できるか？

主な発見

• ADE20Kの検証セットにおいて、HRViTは50.20%のmIoUを達成し、以前のSOTA（MiTおよびCSWin）を平均+1.78 mIoU上回った。
• Cityscapesの検証セットでは、HRViTは83.16%のmIoUを達成し、SOTAのViTバックボーンに対して顕著な性能向上を示した。
• HRViTはSOTAモデルと比較して、モデルパラメータを28%削減し、FLOPsを21%削減した。これは顕著な効率性の向上を示している。
• HRViT-b3における最適なウィンドウサイズは9であり、ウィンドウサイズ7と比較して0.34 mIoUの向上を達成したが、FLOPsはわずか0.8%増加にとどまった。
• 過剰なウィンドウサイズ（例：15）は、性能を0.26 mIoU低下させ、FLOPsを3.7%増加させ、最適設定を超えると性能が低下することが示された。
• 直接ブロック置換を施したヴァニラHRNet-ViTベースラインは、計算コストが高いためスケーリングに非効率で、HRViTにおける共同最適化技術の必要性を浮き彫りにした。