[論文レビュー] Learning Implicit Feature Alignment Function for Semantic Segmentation

Hanzhe Hu, Yinbo Chen+5 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、双線形補間や重い畳み込みを用いずに、セマンティックセグメンテーションにおけるマルチレベル特徴マップのアライメントに、暗黙的ニューラル表現を用いる新しい手法、Implicit Feature Alignment (IFA) を提案する。特徴を連続的な空間的フィールドとして扱うことで、相対座標を用いて周囲の特徴を照会するMLPにより、解像度に依存しない、正確で効率的な特徴集約が可能となり、Cityscapes、PASCAL Context、ADE20Kの複数のベンチマークで最先端の精度-計算量トレードオフを達成した。

ABSTRACT

Integrating high-level context information with low-level details is of central importance in semantic segmentation. Towards this end, most existing segmentation models apply bilinear up-sampling and convolutions to feature maps of different scales, and then align them at the same resolution. However, bilinear up-sampling blurs the precise information learned in these feature maps and convolutions incur extra computation costs. To address these issues, we propose the Implicit Feature Alignment function (IFA). Our method is inspired by the rapidly expanding topic of implicit neural representations, where coordinate-based neural networks are used to designate fields of signals. In IFA, feature vectors are viewed as representing a 2D field of information. Given a query coordinate, nearby feature vectors with their relative coordinates are taken from the multi-level feature maps and then fed into an MLP to generate the corresponding output. As such, IFA implicitly aligns the feature maps at different levels and is capable of producing segmentation maps in arbitrary resolutions. We demonstrate the efficacy of IFA on multiple datasets, including Cityscapes, PASCAL Context, and ADE20K. Our method can be combined with improvement on various architectures, and it achieves state-of-the-art computation-accuracy trade-off on common benchmarks. Code will be made available at https://github.com/hzhupku/IFA.

研究の動機と目的

• セマンティックセグメンテーションにおける双線形補間や畳み込みベースの特徴アライメントの非効率性と不正確さを解決すること。
• 特に高レベル特徴と低レベル特徴の間で解像度の差が大きい場合に顕著な限界を示す固定解像度特徴アライメントの制限を克服すること。
• 暗黙的ニューラル表現を用いてマルチレベル特徴を連続的フィールドとしてモデル化することで、正確で解像度に依存しない特徴集約を可能にすること。
• 特に高解像度セグメンテーションやエッジデプロイメントにおいて、計算効率とメモリ使用量の改善を図ること。
• Cityscapes、PASCAL Context、ADE20Kといった複数のベンチマークで、既存の最先端手法と比較してより優れた精度-計算量トレードオフを達成すること。

提案手法

• マルチレベル特徴マップを、空間内での潜在的コードを表す連続的な2次元フィールドとして扱う。
• 任意のクエリ座標に対して、その点からの相対的な空間オフセットとともに、異なるレベルの周囲の特徴ベクトルを抽出する。
• 抽出した特徴ベクトルと相対座標を連結し、その入力を多層パーセプトロン（MLP）に与え、クエリ点におけるアライメント済み特徴値を予測する。
• 固定解像度の補間を必要とせず、任意の解像度での推論を可能にするために、MLPが任意の座標で特徴をデコードできるようにする。
• FPNなどのアーキテクチャに組み込まれた標準的な双線形補間や畳み込みアライメントモジュールを、IFAモジュールに置き換えることで、エンドツーエンド統合を実現する。
• さまざまなバックボーンアーキテクチャと統合可能であり、文脈モデリングのためのオプションとしてASPPモジュールを追加可能で、高い効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的ニューラル表現を、セマンティックセグメンテーションにおける特徴アライメントに効果的に適用することで、精度と効率の向上が図れるか？
• RQ2 双線形補間や畳み込みベースのアライメントと比較して、IFAの精度と計算コストの両面での性能はいかがなものか？
• RQ3 特徴マップ間の解像度ギャップが大きい場合でも、IFAは性能を維持または向上させるか？
• RQ4 既存のセグメンテーションアーキテクチャに、アーキテクチャの大幅な見直しを伴わずに、スムーズに統合可能か？
• RQ5 Cityscapes、PASCAL Context、ADE20Kといった多様なベンチマークで、IFAが精度-計算量トレードオフに与える影響はいかがなものか？

主な発見

• Cityscapesのテストセットでは、IFAは82.0 mIoUを達成し、SFNet（81.8）を上回り、計算コストは61%、パラメータ数はSegFormerの32%にまで削減された。
• PASCAL Contextでは、63.5 GFLOPsで53.8% mIoUを達成し、SFNet（53.8% mIoU）を上回りながら計算量は61%にまで削減された。
• ADE20Kでは、72.0 GFLOPsで45.98% mIoUを達成し、CPNet（46.27% mIoU）を大きく上回り、計算コストはわずか22%にまで削減された。
• SFNetと比較して、計算コストを最大57%まで削減しながらも、精度を維持または向上させた。これにより、優れた計算効率が示された。
• 特に解像度の差が大きい特徴のアライメントにおいて、より大きな向上効果を示しており、高解像度セグメンテーションにおける有効性が裏付けられた。
• IFAにASPPモジュールを追加することで、さらに性能が向上した。これは、既存の文脈モデリング技術と良好に互換性があることを示している。