[論文レビュー] Dual Graph Convolutional Network for Semantic Segmentation

Li Zhang, Xiangtai Li+4 more|arXiv (Cornell University)|Sep 13, 2019

Advanced Neural Network Applications参考文献 58被引用数 114

ひとこと要約

本論文は意味セグメンテーションのためのデュアル Graph Convolutional Network を提案し、Cityscapes で state-of-the-art の Mean IoU を示し、Pascal Context で競争力のある結果を得て、いくつかのベースラインを上回っている。

ABSTRACT

Exploiting long-range contextual information is key for pixel-wise prediction tasks such as semantic segmentation. In contrast to previous work that uses multi-scale feature fusion or dilated convolutions, we propose a novel graph-convolutional network (GCN) to address this problem. Our Dual Graph Convolutional Network (DGCNet) models the global context of the input feature by modelling two orthogonal graphs in a single framework. The first component models spatial relationships between pixels in the image, whilst the second models interdependencies along the channel dimensions of the network's feature map. This is done efficiently by projecting the feature into a new, lower-dimensional space where all pairwise interactions can be modelled, before reprojecting into the original space. Our simple method provides substantial benefits over a strong baseline and achieves state-of-the-art results on both Cityscapes (82.0% mean IoU) and Pascal Context (53.7% mean IoU) datasets. Code and models are made available to foster any further research (\url{https://github.com/lxtGH/GALD-DGCNet}).

研究の動機と目的

• グラフベースの推論を用いた意味セグメンテーションの改善を動機付ける。
• セグメンテーションタスクのためのDual Graph Convolutional Network アーキテクチャを導入・評価する。
• Cityscapes と Pascal Context で提案手法を既知のベースラインと比較する。

提案手法

• 意味セグメンテーションのための Dual Graph Convolutional Network アーキテクチャを提案する。
• 標準データセットで手法を評価し、複数のベースラインと比較する。
• クラス別およびMean IoU の結果を提供し、改善を示す。

実験結果

リサーチクエスチョン

• RQ1 Dual Graph Convolutional Network は Cityscapes と Pascal Context で確立済みのベースラインよりセグメンテーション精度を改善するか？
• RQ2 提案手法は個々の意味クラスおよび全体の Mean IoU でどのように性能を示すか？
• RQ3 従来手法と比べてアーティファクトが少なく一貫性が高いか？
• RQ4 DeepLab-v2、RefineNet、DANet などの現代アーキテクチャと比較して手法はどう位置づけられるか？

主な発見

Methods	Mean IoU	road	sidebar	building	wall	fence	pole	traffic light	traffic sign	vegetation	terrain	sky	person	rider	car	truck	bus	train	motorcycle	bicycle
DeepLab-v2	70.4	97.9	81.3	90.3	48.8	47.4	49.6	57.9	67.3	91.9	69.4	94.2	79.8	59.8	93.7	56.5	67.5	57.5	57.7	68.8
RefineNet	73.6	98.2	83.3	91.3	47.8	50.4	56.1	66.9	71.3	92.3	70.3	94.8	80.9	63.3	94.5	64.6	76.1	64.3	62.2	70.0
GCN	76.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DUC	77.6	98.5	85.5	92.8	58.6	55.5	65	73.5	77.9	93.3	72	95.2	84.8	68.5	95.4	70.9	78.8	68.7	65.9	73.8
ResNet-38	78.4	98.5	85.7	93.1	55.5	59.1	67.1	74.8	78.7	93.7	72.6	95.5	86.6	69.2	95.7	64.5	78.8	74.1	69	76.7
PSPNet	78.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
BiSeNet	78.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PSANet	80.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DenseASPP	80.6	98.7	87.1	93.4	60.7	62.7	65.6	74.6	78.5	93.6	72.5	95.4	86.2	71.9	96.0	78.0	90.3	80.7	69.7	76.8
GloRe	80.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DANet	81.5	98.6	86.1	93.5	56.1	63.3	69.7	77.3	81.3	93.9	72.9	95.7	87.3	72.9	96.2	76.8	89.4	86.5	72.2	78.2
Ours	82.0	98.7	87.4	93.9	62.4	63.4	70.8	78.7	81.3	94.0	73.3	95.8	87.8	73.7	96.4	76.0	91.6	81.6	71.5	78.2

• Cityscapes のテストセットで Mean IoU が 82.0%、19 クラス中 16 クラスで IoU が最高。
• 報告表で Mean IoU およびクラス別精度の点で複数のベースライン（例: DeepLab-v2、RefineNet、DANet）を上回る。
• Cityscapes のリストされたカテゴリ全体でクラス別の性能が競争力がある、または優れている。