[論文レビュー] Learning Statistical Texture for Semantic Segmentation

Lanyun Zhu, Deyi Ji+4 more|arXiv (Cornell University)|Mar 6, 2021

Advanced Neural Network Applications参考文献 37被引用数 8

ひとこと要約

本論文は、量子化およびカウント演算子（QCO）を用いて統計的テクスチャ特徴を明示的にモデル化する、新しいフレームワークである統計的テクスチャ学習ネットワーク（STLNet）を提案する。テクスチャ強化モジュール（TEM）により低レベルのテクスチャ詳細を向上させ、ピラミッド・テクスチャ特徴抽出モジュール（PTFEM）によりマルチスケールの統計的テクスチャ特徴を抽出することで、Cityscapes、PASCAL Context、ADE20Kで最先端の性能を達成し、それぞれmIoUスコアが82.3%、55.8%、46.48%となった。

ABSTRACT

Existing semantic segmentation works mainly focus on learning the contextual information in high-level semantic features with CNNs. In order to maintain a precise boundary, low-level texture features are directly skip-connected into the deeper layers. Nevertheless, texture features are not only about local structure, but also include global statistical knowledge of the input image. In this paper, we fully take advantages of the low-level texture features and propose a novel Statistical Texture Learning Network (STLNet) for semantic segmentation. For the first time, STLNet analyzes the distribution of low level information and efficiently utilizes them for the task. Specifically, a novel Quantization and Counting Operator (QCO) is designed to describe the texture information in a statistical manner. Based on QCO, two modules are introduced: (1) Texture Enhance Module (TEM), to capture texture-related information and enhance the texture details; (2) Pyramid Texture Feature Extraction Module (PTFEM), to effectively extract the statistical texture features from multiple scales. Through extensive experiments, we show that the proposed STLNet achieves state-of-the-art performance on three semantic segmentation benchmarks: Cityscapes, PASCAL Context and ADE20K.

研究の動機と目的

• 既存のセマンティックセグメンテーションモデルが低レベル特徴における統計的テクスチャ情報の活用を十分に行っていないという限界に対処すること。
• 深層ニューラルネットワークにおいて、グローバルな統計的テクスチャ分布を明示的にモデル化する手法を提案し、セグメンテーション精度を向上させること。
• ヒストグラム均一化にインspiredされた学習可能なメカニズムを用いて、低レベルのテクスチャ詳細を強化すること。
• ピラミッド構造を用いてマルチスケールの統計的テクスチャ特徴を抽出することで、頑健な特徴表現を実現すること。

提案手法

• 連続的なテクスチャ分布を量子化レベルに離散化し、その周波数を数えることで統計的符号化を行うための量子化およびカウント演算子（QCO）を導入する。
• 量子化レベル間を情報伝播することで低レベル特徴を精緻化し、ヒストグラム均一化を模倣するテクスチャ強化モジュール（TEM）を提案する。
• 階層的構造を用いて複数スケールの統計的テクスチャ特徴を捉えるピラミッド・テクスチャ特徴抽出モジュール（PTFEM）を設計する。
• QCO、TEM、PTFEMを統合したエンドツーエンドで学習可能なネットワークを構築し、低レベルと高レベル特徴を統合してセマンティックセグメンテーションを実現する。
• スキップ接続を備えた標準的なエンコーダ・デコーダアーキテクチャを採用し、QCOベースのモジュールを複数の段階に挿入することで、テクスチャ詳細の保持と強化を実現する。
• データオーグメンテーション、マルチスケール推論、反転処理を用いた標準的なトレーニングプロトコルを採用し、汎化性能と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的な構造パターンを超えた統計的テクスチャ特徴は、セマンティックセグメンテーションの性能向上に寄与するか？
• RQ2 高次元で連続的なテクスチャ分布を、深層ニューラルネットワーク内で効果的に表現・最適化できるか？
• RQ3 ヒストグラムに基づいた学習可能なメカニズムによる低レベルテクスチャ詳細の強化は、境界予測の向上に寄与するか？
• RQ4 マルチスケールの統計的テクスチャ特徴は、多様なデータセットにわたるセグメンテーションのロバスト性と精度を向上させるか？
• RQ5 提案手法は、既存のセグメンテーションアーキテクチャとプラグアンドプレイの形で互換性を持つか？

主な発見

• STLNetは、CityscapesのテストセットでmIoUが82.3%という最先端の性能を達成した。
• PASCAL Contextのバリデーションセットでは、mIoUが55.8%に達し、以前の最先端手法を大きく上回った。
• ADE20Kのバリデーションセットでは、mIoUが46.48%に達し、多様なシーンカテゴリにわたる強力な汎化性能を示した。
• アブレーションスタディの結果、テクスチャ強化モジュール（TEM）とピラミッド・テクスチャ特徴抽出モジュール（PTFEM）の両方が性能向上に顕著な寄与をしていることが確認された。
• マルチスケール推論とテスト時反転の追加により、それぞれmIoUが0.4%および0.2%向上し、組み合わせで最も良い結果が得られた。
• 提案されたモジュール（TEMとPTFEM）は計算コストが非常に低く、わずか17.48 GFLOPsおよび1.31Mパラメータで実現され、効率的で実用的な手法であることが示された。