[論文レビュー] Attention Toward Neighbors: A Context Aware Framework for High Resolution Image Segmentation

Fahim Faisal Niloy, M. Ashraful Amin+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Neural Network Applications参考文献 14被引用数 5

ひとこと要約

本論文は、隣接するパッチからの文脈的特徴を統合することで、特徴マップのサイズを増大させずに広い受容 field を実現する文脈に配慮したアテンションフレームワークを提案する。この手法により、高解像度画像セグメンテーションの性能が向上し、GID データセットで最先端の性能を達成するとともに、複数のベンチマークで mIoU と精度が顕著に向上した。特に境界エラーが一般的な小さなパッチサイズにおいて顕著な改善が得られた。

ABSTRACT

High-resolution image segmentation remains challenging and error-prone due to the enormous size of intermediate feature maps. Conventional methods avoid this problem by using patch based approaches where each patch is segmented independently. However, independent patch segmentation induces errors, particularly at the patch boundary due to the lack of contextual information in very high-resolution images where the patch size is much smaller compared to the full image. To overcome these limitations, in this paper, we propose a novel framework to segment a particular patch by incorporating contextual information from its neighboring patches. This allows the segmentation network to see the target patch with a wider field of view without the need of larger feature maps. Comparative analysis from a number of experiments shows that our proposed framework is able to segment high resolution images with significantly improved mean Intersection over Union and overall accuracy.

研究の動機と目的

• パッチベースの手法における文脈情報の不足により生じる誤りの多いセグメンテーションの課題に対処すること。
• 特にパッチ境界部で文脈情報が欠落するため、独立したパッチ処理の限界を克服すること。
• 中間特徴マップのサイズを増大させずにセグメンテーション精度を向上させることで、学習の非効率性を回避すること。
• 高解像度セグメンテーションに既存のエンコーダ・デコーダアーキテクチャにスムーズに統合できること。

提案手法

• 入力画像は重複のない正方形パッチに分割され、対象パッチを I と表記する。
• エンコーダは対象パッチ I 及びその8つの隣接パッチを処理し、文脈統合中にエンコーダの重みを固定する。
• 対象パッチ (Ie) と隣接パッチ (Ne) からの符号化特徴を再形状し、9×C×HW のテンソルに連結する。
• 空間アテンションは、Ie と Ne のドット積により相関重み行列 Wc を計算し、最後の軸にソフトマックスを適用することで、特徴間の相関関係を測定する。
• 文脈的特徴は、Wc を Ne に適用し、重み付きの隣接特徴を集約することで、Ie に長距離の文脈を豊かにする。
• 豊かにされた特徴はデコーダに渡され、特徴マップの次元を拡大せずに広い有効受容 field を実現する。

実験結果

リサーチクエスチョン

• RQ1 隣接パッチからの文脈的情報を統合することで、高解像度画像のセグメンテーション精度を向上させることができるか？
• RQ2 特徴マップのサイズを増大させずに、提案されたアテンション機構がパッチベースのセグメンテーションにおける境界エラーを低減できるか？
• RQ3 このフレームワークは、既存のエンコーダ・デコーダアーキテクチャに効果的に統合できるか？
• RQ4 非常に高解像度の画像において、小さなパッチサイズでベースラインのパッチベース手法と比較して、この手法はどのように性能を発揮するか？
• RQ5 このフレームワークは、GID のようなベンチマークデータセットで最先端の性能を達成できるか？

主な発見

• 提案されたフレームワークは、GID データセットで最先端の平均交差率（mIoU）を達成し、PT-GID を含む先行手法を上回った。
• JSRT 胸部X線データセットでは、ベースラインモデルと比較して mIoU が最大12.5%向上し、全体の精度が最大11.5%向上した。
• ダッカ衛星画像データセット（DSD）では、すべてのパッチサイズで mIoU と全体の精度が一貫して向上し、特に小さなパッチで顕著な向上が得られた。
• この手法は、隣接パッチからの文脈的認識を提供することで、小さなパッチセグメンテーションにおける境界エラーを低減した。これは、境界ピクセルと内部ピクセルの比率が高い場合に特に有益である。
• GID データセットでは、建物クラスで97.57%、畑で92.97%、森林で84.64%、草地で59.12%、水で95.03%の精度を達成し、5クラス中4クラスですべての競合手法を上回った。
• このフレームワークは、小さなパッチサイズ（例：64×64）でも高い性能を維持しており、ベースラインのパッチベース手法が境界ピクセルが多すぎて誤差率が高くなる状況において顕著な優位性を示した。