[論文レビュー] LRNNet: A Light-Weighted Network with Efficient Reduced Non-Local Operation for Real-Time Semantic Segmentation

Weihao Jiang, Zhaozhi Xie+3 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Neural Network Applications参考文献 22被引用数 7

ひとこと要約

LRNNetは、効率的な特徴抽出のための要因分解畳み込みブロック（FCB）と、領域固有の特異ベクトルに基づく削減された非局所モジュール（SVN）を用いた軽量でリアルタイムなセマンティックセグメンテーションネットワークを提案する。このアプローチにより、計算コストを最小限に抑えながら長距離依存関係をモデル化できる。Cityscapesで72.2%のmIoUを達成し、パrameter数は0.68M、GTX 1080Tiでの推論速度は71 FPSを記録し、精度、速度、モデルサイズ、効率性の面で新たな最先端のトレードオフを達成した。

ABSTRACT

The recent development of light-weighted neural networks has promoted the applications of deep learning under resource constraints and mobile applications. Many of these applications need to perform a real-time and efficient prediction for semantic segmentation with a light-weighted network. This paper introduces a light-weighted network with an efficient reduced non-local module (LRNNet) for efficient and realtime semantic segmentation. We proposed a factorized convolutional block in ResNet-Style encoder to achieve more lightweighted, efficient and powerful feature extraction. Meanwhile, our proposed reduced non-local module utilizes spatial regional dominant singular vectors to achieve reduced and more representative non-local feature integration with much lower computation and memory cost. Experiments demonstrate our superior trade-off among light-weight, speed, computation and accuracy. Without additional processing and pretraining, LRNNet achieves 72.2% mIoU on Cityscapes test dataset only using the fine annotation data for training with only 0.68M parameters and with 71 FPS on a GTX 1080Ti card.

研究の動機と目的

• モバイルやリソース制限のある環境向けに、軽量でリアルタイムなセマンティックセグメンテーションネットワークを開発すること。
• 短距離特徴と長距離特徴を別々に処理する要因分解畳み込みブロック（FCB）を設計することで、特徴抽出の効率を向上させること。
• 非局所演算の計算コストとメモリ使用量を削減しながら、セマンティックセグメンテーションにおけるグローバルなコンテキストモデリングを維持すること。
• モデルサイズ、推論速度、計算コスト、セグメンテーション精度の面で優れたトレードオフを達成すること。

提案手法

• 提案された要因分解畳み込みブロック（FCB）は、深度可分畳み込みとチャネル別要因分解を用い、パラメータ数と計算量を削減しながらも強力な特徴表現を維持する。
• 削減された非局所モジュール（SVN）は、空間領域からの代表的特徴を抽出するために領域内優位特異ベクトルを用い、キーや値の数を削減することで計算複雑度を低下させる。
• SVNモジュールはパワー反復法を用いて優位特異ベクトルを効率的に計算し、完全なペアワイズアテンションなしに低コストなグローバル特徴統合を実現する。
• エンコーダはFCBから構成されるResNet風のアーキテクチャであり、デコーダにはグローバルコンテキストを特徴を精緻化するためにSVNモジュールを統合する。
• ネットワークは、事前学習やデータオーグメンテーションを一切用いずに、CityscapesとCamVidの高精度アノテーションのみを用いてエンドツーエンドで学習する。
• モデル効率性は、標準ベンチマーク上での推論速度（FPS）、パラメータ数（Para）、FLOPS（GFLOPS）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 要因分解畳み込みブロックは、軽量なネットワークにおいて、短距離特徴と長距離特徴の学習を効果的にバランスさせることができるか？
• RQ2 領域固有の特異ベクトルに基づく削減された非局所モジュールは、大幅に低い計算コストでフル非局所演算と同等のグローバルコンテキストモデリングを達成できるか？
• RQ3 このようなモジュールを軽量なエンコーダ-デコーダアーキテクチャに統合することで、精度、速度、モデルサイズの面で最先端のパフォーマンスが達成できるか？
• RQ4 提案されたネットワークは、事前学習や追加のデータ処理を一切行わずに、CityscapesとCamVidで高い精度を達成できるか？

主な発見

• LRNNetは、GTX 1080Tiで0.68Mのパラメータと71 FPSを達成し、Cityscapesのテストセットで72.2%のmIoUを記録し、効率性と精度の面で新たな最先端のトレードオフを実現した。
• シングルスケールSVN（モデルB）は、プーリングベースの手法よりも0.5%高いmIoUを達成し、計算量の増加は最小限（8.57 GFLOPS）に抑えられた。
• マルチスケールSVN（モデルC）はさらに性能を向上させ、Cityscapesで72.2%のmIoUを達成し、高い速度と低いパラメータ数を維持した。
• CamVidでは、0.68Mのパラメータと76.5 FPSを達成し、69.2%のmIoUを記録し、異なるデータセットへの強い汎化能力を示した。
• FCBを用いたエンコーダは、モデルサイズと計算量を削減しながらも、ERFNetやLEDNetを上回る精度と効率性を達成した。
• SVNにおける領域内優位特異ベクトルの使用は、特に軽量な設定において、最大値または平均プーリングよりもより代表的な特徴を提供した。