[論文レビュー] Dual Attention U-Net with Feature Infusion: Pushing the Boundaries of Multiclass Defect Segmentation

Rasha Alshawi, Md Tamjidul Hoque+8 more|arXiv (Cornell University)|Dec 21, 2023

Infrastructure Maintenance and Monitoring被引用数 5

ひとこと要約

本稿では、データが限られる状況下でのマルチクラス欠陥セグメンテーションを向上させるために、特徴量統合を備えたデュアルアテンションU-Net、DAU-FI Netを提案する。マルチスケールのディープワイズ分離畳み込み、空間チャネル圧縮・拡張アテンション、アテンションゲート、および意味的マスクによってガイドされたガボール／ソーベル／ケニ・フィルタに基づく特徴量インジェクションを統合することで、下水・雨水管欠陥データセットでは95.6%のSOTA平均IoUを達成し、ベンチマークでは98.8%を記録。それぞれ前人を8.9%および12.6%上回り、パrameter数はわずか146万で実現した。

ABSTRACT

The proposed architecture, Dual Attentive U-Net with Feature Infusion (DAU-FI Net), addresses challenges in semantic segmentation, particularly on multiclass imbalanced datasets with limited samples. DAU-FI Net integrates multiscale spatial-channel attention mechanisms and feature injection to enhance precision in object localization. The core employs a multiscale depth-separable convolution block, capturing localized patterns across scales. This block is complemented by a spatial-channel squeeze and excitation (scSE) attention unit, modeling inter-dependencies between channels and spatial regions in feature maps. Additionally, additive attention gates refine segmentation by connecting encoder-decoder pathways. To augment the model, engineered features using Gabor filters for textural analysis, Sobel and Canny filters for edge detection are injected guided by semantic masks to expand the feature space strategically. Comprehensive experiments on a challenging sewer pipe and culvert defect dataset and a benchmark dataset validate DAU-FI Net's capabilities. Ablation studies highlight incremental benefits from attention blocks and feature injection. DAU-FI Net achieves state-of-the-art mean Intersection over Union (IoU) of 95.6% and 98.8% on the defect test set and benchmark respectively, surpassing prior methods by 8.9% and 12.6%, respectively. Ablation studies highlight incremental benefits from attention blocks and feature injection. The proposed architecture provides a robust solution, advancing semantic segmentation for multiclass problems with limited training data. Our sewer-culvert defects dataset, featuring pixel-level annotations, opens avenues for further research in this crucial domain. Overall, this work delivers key innovations in architecture, attention, and feature engineering to elevate semantic segmentation efficacy.

研究の動機と目的

• 実世界のインフラ点検で一般的な小規模で不均衡なデータセットにおけるマルチクラスセマンティックセグメンテーションの課題に対処すること。
• とくにレアな欠陥クラスに対して、データ不足下でも欠陥の局所化とセグメンテーションの精度を向上させること。
• ガボール、ソーベル、ケニのドメイン固有のエンジニアリング特徴量を意味的マスクによってガイドされたインジェクションにより、ディープラーニングと統合することで特徴表現を強化すること。
• アテンションメカニズムとアーキテクチャ的革新を通じて、パrameter数を最小限に抑えながら性能と効率を最適化すること。
• 今後の研究を可能にするために、新しいピクセルアノテーション付き下水・雨水管欠陥データセットを構築し、新たなベンチマークを確立すること。

提案手法

• エンコーダ・デコーダ型U-Netアーキテクチャに、階層的特徴学習を可能にするマルチスケールのディープワイズ分離畳み込みを組み合わせた、デュアルアテンティブU-Netと特徴量統合（DAU-FI Net）を提案する。
• 特徴マップ内のチャネルと空間領域の間の相互依存関係をモデル化するため、並列的な空間チャネル圧縮・拡張（scSE）アテンションユニットを導入し、表現品質を向上させる。
• エンコーダとデコーダのパス間のスカイプ接続に加法的アテンションゲートを採用し、特徴量統合の精度を向上させ、局所化の正確性を改善する。
• ガボール、ソーベル、ケニフィルタからのエンジニアリング特徴量を、予測された意味的マスクに基づいてネットワークにインジェクションすることで、モデルの複雑さを増すことなく特徴空間を豊かにする。
• 3×3、5×5、1×1のカーネルを備えたマルチスケールのディープセパラブル畳み込みブロックを用い、効率的にマルチスケールの局所パターンを捉える。
• 生画像データとエンジニアリング特徴量マップの両方を活用するハイブリッドトレーニング戦略を採用し、アテンションマスクによって動的に特徴量インジェクションをガイドすることで、空間的および意味的整合性を保持する。

Figure 1: The Proposed Dual Attentive U-Net with Feature Infusion (DAU-FI Net) Architecture

実験結果

リサーチクエスチョン

• RQ1 空間的およびチャネル的依存関係を同時にモデル化するデュアルアテンション機構は、マルチクラスで不均衡なデータセットにおけるセグメンテーション精度を向上させることができるか？
• RQ2 意味的マスクによってガイドされたハンドクラフト特徴量（ガボール、ソーベル、ケニ）のインジェクションは、データが少ない状況下でのディープラーニング性能をどの程度向上させるか？
• RQ3 スカイプ接続にアテンションゲートを統合することで、U-Netベースアーキテクチャにおける特徴量統合と局所化精度にどのような影響を与えるか？
• RQ4 アテンションブロック、特徴量インジェクション、ディープワイズ分離畳み込みを組み合わせた最適なアーキテクチャ設定は何か？
• RQ5 わずか146万パラメータの軽量モデルが、複雑な現実世界の欠陥セグメンテーションタスクでSOTA性能を達成できるか？

主な発見

• DAU-FI Netは、独自に構築した下水・雨水管欠陥データセットで95.6%のSOTA平均IoUを達成し、前人を8.9ポイント上回った。
• ベンチマーク用の細胞核データセットでは、DAU-FI Netが98.8%の平均IoUを達成し、前回SOTAを12.6ポイント上回った。
• アブレーションスタディにより、デュアルアテンション、特徴量インジェクション、アテンションゲートの各コンponentが段階的に性能向上に寄与しており、フルモデル（設定P6）が最良の結果をもたらした。
• わずか146万パラメータで高い精度を達成しており、パラメータ効率が高く、リアルタイムまたはエッジデプロイメントに適していることが示された。
• 可視化比較では、DAU-FI Netがアノテーションに存在しない欠陥でさえ検出できており、アノテーションの限界を超えた強固な一般化能力と学習能力を示している。
• ピクセルレベルのアノテーション付きで、洗練された下水・雨水管欠陥データセットを公開した。これにより、今後の自動インフラ点検分野のベンチマークと研究が可能になる。

Figure 2: Feature Extraction Methods and Filters.