[論文レビュー] Resolution-Aware Design of Atrous Rates for Semantic Segmentation Networks

Bum Jun Kim, Hyeyeon Choi+2 more|arXiv (Cornell University)|Jul 26, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、セマンティックセグメンテーションネットワークにおけるAtrous Spatial Pyramid Pooling (ASPP)モジュールの最適なアトロスレート選定のための解像度に依存するガイドラインを提案する。セグメンテーションネットワークの有効受容 field (ERF) を分析することで、ASPP が星型の ERF パatters を引き起こすことを同定し、入力画像サイズと特徴マップのストライドに基づいて最適なアトロスレートを設定するための式を導出する。その結果、Cityscapes、STARE、iSAID など複数のデータセットで一貫した mIoU の向上が得られた。

ABSTRACT

DeepLab is a widely used deep neural network for semantic segmentation, whose success is attributed to its parallel architecture called atrous spatial pyramid pooling (ASPP). ASPP uses multiple atrous convolutions with different atrous rates to extract both local and global information. However, fixed values of atrous rates are used for the ASPP module, which restricts the size of its field of view. In principle, atrous rate should be a hyperparameter to change the field of view size according to the target task or dataset. However, the manipulation of atrous rate is not governed by any guidelines. This study proposes practical guidelines for obtaining an optimal atrous rate. First, an effective receptive field for semantic segmentation is introduced to analyze the inner behavior of segmentation networks. We observed that the use of ASPP module yielded a specific pattern in the effective receptive field, which was traced to reveal the module's underlying mechanism. Accordingly, we derive practical guidelines for obtaining the optimal atrous rate, which should be controlled based on the size of input image. Compared to other values, using the optimal atrous rate consistently improved the segmentation results across multiple datasets, including the STARE, CHASE_DB1, HRF, Cityscapes, and iSAID datasets.

研究の動機と目的

• 固定されたアトロスレート（例：{6,12,18}）を用いる ASPP モジュールの限界を解消すること。これは、入力解像度にかかわらず視野（FoV）のサイズが制限されるためである。
• 有効受容 field (ERF) 分析を用いて、セマンティックセグメンテーションネットワーク内の ASPP モジュールの内部挙動を調査すること。
• 入力画像サイズに応じた実用的で解像度依存の最適アトロスレート選定ガイドラインを導出することにより、FoV と入力解像度の整合性を最大化すること。
• 最適なアトロスレートが、CNN やビジョントランスフォーマーを含む多様なデータセットとバックボーンアーキテクチャで一貫した性能向上をもたらすかを検証すること。

提案手法

• セマンティックセグメンテーションに特化したピクセルレベルの有効受容 field (ERF) の定式化を導入。これは、入力ピクセルが中心の出力ユニットに与える勾配寄与度として定義される。
• DeepLab、UperNet、SETR などのさまざまなセグメンテーションモデルの ERF を可視化し、アトロス畳み込みの並列配置によって生じる星型の ERF パatters を観察する。
• ERF を 2 次元ガウス分布としてモデル化し、その標準偏差と中心座標を抽出することで、ASPP の FoV サイズを定量的に評価する。
• 入力解像度 $ l $ と出力ストライド $ s $ を関数として、最適アトロスレート $ r^* $ の閉形式表現を導出する。式は $ r^* = \left\lfloor \frac{l}{2s} \right\rfloor $ である。
• mIoU を指標として用い、Cityscapes、STARE、HRF、iSAID、ADE20K などの複数のデータセットと、ResNet、ViT、Swin、SegFormer などのモデルで、提案された $ r^* $ を評価する。
• ERF を 2 次元ガウス分布にフィットさせるために LMfit ライブラリを用い、ERF 幅と中心バイアスの一貫した定量的評価を実施する。

Figure 1 : $3\times 3$ vanilla convolution uses nine adjoint features (shown in blue on the left), whereas $3\times 3$ atrous convolution with an atrous rate of 2 uses nine distant features with one feature in between (shown in blue on the right).

実験結果

リサーチクエスチョン

• RQ1 ASPP モジュールは、セマンティックセグメンテーションネットワークにおける空間的受容 field 構造にどのように影響を与えるか？
• RQ2 ASPP を搭載したネットワークで観察される星型の ERF パターンを引き起こす背後にあるメカニズムは何か？
• RQ3 入力画像サイズとネットワークのストライドに基づいて、ASPP モジュールの視野（FoV）サイズを体系的に制御する方法は何か？
• RQ4 解像度に依存するアトロスレートを用いることで、多様なデータセットとバックボーンアーキテクチャで一貫した性能向上が得られるか？

主な発見

• ASPP モジュールは、異なるレートを持つ拡張畳み込みを対称的に配置することで、特徴マップ全体にわたる非一様な影響を生じさせ、星型の ERF パターンを誘発する。
• ASPP モジュールの有効視野（FoV）サイズは、ERF の広がりによって定量的に決定され、下にずれた中心を持つ 2 次元ガウス分布としてモデル化できる。水平方向の広がりが広がっている。
• 入力解像度との FoV 整合性に基づいて導出された最適アトロスレート $ r^* = \left\lfloor \frac{l}{2s} \right\rfloor $ は、評価されたすべてのデータセットとモデルで一貫して mIoU を向上させる。
• ViT-L/16 をバックボーンに用いた SETR を用いた Cityscapes データセットでは、提案された $ r^* = 8 $ がベースラインから +0.34% の mIoU 向上を達成し、1 から 12 の他の全レートを上回った。
• SegFormer や ViT ベースの SETR などのトランスフォーマー型モデルで、グローバル自己注意機構を有しても、小さな局所的 ERF を示すことが判明した。これは、注意ベースのアーキテクチャですら、局所的なインダクティブバイアスが依然として重要であることを示している。
• ViT ベースのモデルの ERF はピクセルパッチ分割に基づく 2 次元ガウス分布のパターンを示すが、Swin ベースのモデルでは局所ウィンドウ注意と特徴マージングのおかげで滑らかで連続的な ERF を示す。

(a) DeepLabV3 with R-18, $s=8$