[논문 리뷰] Dual Graph Convolutional Network for Semantic Segmentation

Li Zhang, Xiangtai Li외 4명|arXiv (Cornell University)|2019. 09. 13.

Advanced Neural Network Applications참고 문헌 58인용 수 114

한 줄 요약

본 논문은 의미 구분을 위한 이중 그래프 컨볼루션 네트워크(Dual Graph Convolutional Network) 를 도입하고 Cityscapes에서 평균 IoU가 최첨단이며 Pascal Context에서 경쟁력 있는 결과를 보이며 여러 베이스라인을 능가한다.

ABSTRACT

Exploiting long-range contextual information is key for pixel-wise prediction tasks such as semantic segmentation. In contrast to previous work that uses multi-scale feature fusion or dilated convolutions, we propose a novel graph-convolutional network (GCN) to address this problem. Our Dual Graph Convolutional Network (DGCNet) models the global context of the input feature by modelling two orthogonal graphs in a single framework. The first component models spatial relationships between pixels in the image, whilst the second models interdependencies along the channel dimensions of the network's feature map. This is done efficiently by projecting the feature into a new, lower-dimensional space where all pairwise interactions can be modelled, before reprojecting into the original space. Our simple method provides substantial benefits over a strong baseline and achieves state-of-the-art results on both Cityscapes (82.0% mean IoU) and Pascal Context (53.7% mean IoU) datasets. Code and models are made available to foster any further research (\url{https://github.com/lxtGH/GALD-DGCNet}).

연구 동기 및 목표

• 의미 분할 개선을 위한 그래프 기반 추론의 동기를 제시한다.
• 세분화 작업을 위한 이중 그래프 컨볼루션 네트워크 아키텍처를 도입하고 평가한다.
• Cityscapes와 Pascal Context에서 제안 방법을 기존 베이스라인과 벤치마크한다.

제안 방법

• 의미 분할을 위한 이중 그래프 컨볼루션 네트워크 아키텍처를 제안한다.
• 표준 데이터셋에서 접근법을 평가하고 여러 베이스라인과 비교한다.
• 개선을 보여주기 위해 클래스별 및 평균 IoU 결과를 제공한다.

실험 결과

연구 질문

• RQ1 이중 그래프 컨볼루션 네트워크가 Cityscapes와 Pascal Context에서 기존 베이스라인보다 분할 정확도를 향상시키는가?
• RQ2 제안 방법은 개별 의미 클래스 및 전반적 평균 IoU에서 어떻게 성능을 발휘하는가?
• RQ3 이전 방법에 비해 결과가 더 일관되고 왜곡이 더 적은가?
• RQ4 DeepLab-v2, RefineNet, DANet 같은 동시대 아키텍처에 비해 방법의 순위는 어떠한가?

주요 결과

방법	평균 IoU	도로	사이드바	건물	벽	울타리	기둥	신호등	교통 표지판	식생	지형	하늘	사람	라이더	차	트럭	버스	기차	오토바이	자전거
DeepLab-v2	70.4	97.9	81.3	90.3	48.8	47.4	49.6	57.9	67.3	91.9	69.4	94.2	79.8	59.8	93.7	56.5	67.5	57.5	57.7	68.8
RefineNet	73.6	98.2	83.3	91.3	47.8	50.4	56.1	66.9	71.3	92.3	70.3	94.8	80.9	63.3	94.5	64.6	76.1	64.3	62.2	70.0
GCN	76.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DUC	77.6	98.5	85.5	92.8	58.6	55.5	65	73.5	77.9	93.3	72	95.2	84.8	68.5	95.4	70.9	78.8	68.7	65.9	73.8
ResNet-38	78.4	98.5	85.7	93.1	55.5	59.1	67.1	74.8	78.7	93.7	72.6	95.5	86.6	69.2	95.7	64.5	78.8	74.1	69	76.7
PSPNet	78.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
BiSeNet	78.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PSANet	80.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DenseASPP	80.6	98.7	87.1	93.4	60.7	62.7	65.6	74.6	78.5	93.6	72.5	95.4	86.2	71.9	96.0	78.0	90.3	80.7	69.7	76.8
GloRe	80.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DANet	81.5	98.6	86.1	93.5	56.1	63.3	69.7	77.3	81.3	93.9	72.9	95.7	87.3	72.9	96.2	76.8	89.4	86.5	72.2	78.2
Ours	82.0	98.7	87.4	93.9	62.4	63.4	70.8	78.7	81.3	94.0	73.3	95.8	87.8	73.7	96.4	76.0	91.6	81.6	71.5	78.2

• Cityscapes 테스트 세트에서 평균 IoU가 82.0%를 달성하며 19개 클래스 중 16개에서 IoU가 최고이다.
• 보고된 표에서 평균 IoU 및 클래스별 정확도에서 여러 베이스라인(예: DeepLab-v2, RefineNet, DANet)을 능가한다.
• Cityscapes의 열거된 범주에서 클래스별 성능이 경쟁력 있거나 우수함을 보여준다.