[論文レビュー] Learning Dynamic Routing for Semantic Segmentation

Yanwei Li, Lin Song+5 more|arXiv (Cornell University)|Mar 23, 2020

Advanced Neural Network Applications参考文献 57被引用数 13

ひとこと要約

本稿では、入力画像の特徴に応じて最適なスケール変換経路を選択するデータ依存型で適応可能なネットワークアーキテクチャを可能にする、意味セグメンテーションのためのダイナミックルーティングを提案する。微分可能で柔らかい条件付きゲートを用いることで、計算リソースの制約のもとで寄与度の低い経路を動的にプルーニングし、FLOPsを顕著に削減しながら、CityscapesおよびPASCAL VOC 2012で固定アーキテクチャを上回る最先端の性能を達成する。

ABSTRACT

Recently, numerous handcrafted and searched networks have been applied for semantic segmentation. However, previous works intend to handle inputs with various scales in pre-defined static architectures, such as FCN, U-Net, and DeepLab series. This paper studies a conceptually new method to alleviate the scale variance in semantic representation, named dynamic routing. The proposed framework generates data-dependent routes, adapting to the scale distribution of each image. To this end, a differentiable gating function, called soft conditional gate, is proposed to select scale transform paths on the fly. In addition, the computational cost can be further reduced in an end-to-end manner by giving budget constraints to the gating function. We further relax the network level routing space to support multi-path propagations and skip-connections in each forward, bringing substantial network capacity. To demonstrate the superiority of the dynamic property, we compare with several static architectures, which can be modeled as special cases in the routing space. Extensive experiments are conducted on Cityscapes and PASCAL VOC 2012 to illustrate the effectiveness of the dynamic framework. Code is available at https://github.com/yanwei-li/DynamicRouting.

研究の動機と目的

• 入力固有のスケール分布に適応可能なネットワークアーキテクチャを提供することで、意味セグメンテーションにおけるスケールばらつきの問題を解決すること。
• 各入力ごとに最適な特徴変換経路を選択できる、微分可能でエンドツーエンドで学習可能なルーティング機構を設計すること。
• 計算リソースの制約のもとで、寄与度の低い演算を動的に削除することで効率性を向上させること。
• 各フォワードパス内でマルチパスおよびスキップ接続の伝搬を可能にし、表現能力を強化すること。
• 標準ベンチマークにおいて、固定アーキテクチャと比較して精度と効率の両面で優れた性能を示すことを目的とする。

提案手法

• 推論時に入力画像のスケール分布に応じてデータ依存型のフォワードパスを生成するダイナミックルーティングフレームワークを提案する。
• 入力特徴に基づいてスケール変換経路を選択する微分可能な柔らかい条件付きゲートを導入し、エンドツーエンド最適化を可能にする。
• 単一パスパイプラインを超えるルーティング空間の緩和により、各フォワードパス内でマルチパスおよびスキップ接続の伝搬を可能にする。
• 学習可能な係数（λ₂, μ）を用いて予算制約を実装し、低効用のセルや経路を動的にプルーニングすることでFLOPsを削減する。
• 効率性を維持しながら強力な性能を達成するため、装飾のない単純なスケール変換モジュールを用いる。
• アブレーションや比較のため、さまざまな固定アーキテクチャ（例：FCN、U-Net、DeepLab）をルーティング空間内での特殊ケースとしてサポートする。

実験結果

リサーチクエスチョン

• RQ1 入力固有のスケール分布に適応可能なダイナミックルーティング機構は、意味セグメンテーションの性能を向上させ得るか？
• RQ2 提案された柔らかい条件付きゲートは、データ依存型のルーティング意思決定の微分可能でエンドツーエンド学習をどのように可能にするか？
• RQ3 予算制約のもとで、寄与度の低い経路を動的にプルーニングすることで、計算効率をどの程度向上させられるか？
• RQ4 各フォワードパスにマルチパスおよびスキップ接続機構を組み込むことで、単一パスルーティングと比較して表現能力が向上するか？
• RQ5 固定アーキテクチャモデルおよびNASベースの手法と比較して、ダイナミックルーティングフレームワークは精度と効率の両面で優れているか？

主な発見

• Cityscapesでは、動的ネットワークが検証セットで78.6%のmIoUを達成し、BiSeNetと比較して3.8%の絶対的向上を示したが、FLOPコストはほぼ同等であった。
• PSPブロックを用いることで、動的モデルはCityscapesテストセットで80.7%のmIoUに達し、最先端の性能を再現しながらも、リソースをより少ない数で使用した。
• PASCAL VOC 2012では、動的ネットワークが30.8 GFLOPsでバリデーションセットで84.0%のmIoUを達成し、同等のFLOP予算下でAuto-DeepLabおよびMobileNetベースのDeepLabV3を上回った。
• 55.7%のFLOP予算下で、Dynamic-Cは計算コストを44.3%削減したが、元の動的モデルと比較してmIoUがわずか0.4%低下したにとどまった。
• ダイナミックルーティングフレームワークは、元のコスト（Dynamic-A）の37.6%までFLOPsを削減しながらも、強力な性能を維持した。これは、効果的な効率制御が可能であることを示している。
• アブレーションスタディの結果、動的ルーティング機構は、提案されたルーティング空間内での特殊ケースである固定アーキテクチャを常に上回ることが確認された。