[논문 리뷰] SCG-Net: Self-Constructing Graph Neural Networks for Semantic Segmentation

Qinghui Liu, Michael Kampffmeyer외 2명|arXiv (Cornell University)|2020. 09. 03.

Advanced Neural Network Applications참고 문헌 53인용 수 12

한 줄 요약

이 논문은 특징 맵에서 유연한 그래프 구축 모듈을 통해 직접 장거리 픽셀 간 의존성을 학습하는 자기 구축 그래프 신경망(SCG-Net)을 제안한다. 이는 의미 분할에서 효율적인 전역적 맥락 모델링을 가능하게 한다. 제안된 방법은 ISPRS Potsdam 및 Vaihingen 데이터셋에서 각각 92.0%와 89.8%의 평균 F1 스코어를 기록하여 유사한 컨볼루션 네트워크 기반 모델들보다 더 적은 파라미터와 낮은 계산 비용으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Capturing global contextual representations by exploiting long-range pixel-pixel dependencies has shown to improve semantic segmentation performance. However, how to do this efficiently is an open question as current approaches of utilising attention schemes or very deep models to increase the models field of view, result in complex models with large memory consumption. Inspired by recent work on graph neural networks, we propose the Self-Constructing Graph (SCG) module that learns a long-range dependency graph directly from the image and uses it to propagate contextual information efficiently to improve semantic segmentation. The module is optimised via a novel adaptive diagonal enhancement method and a variational lower bound that consists of a customized graph reconstruction term and a Kullback-Leibler divergence regularization term. When incorporated into a neural network (SCG-Net), semantic segmentation is performed in an end-to-end manner and competitive performance (mean F1-scores of 92.0% and 89.8% respectively) on the publicly available ISPRS Potsdam and Vaihingen datasets is achieved, with much fewer parameters, and at a lower computational cost compared to related pure convolutional neural network (CNN) based models.

연구 동기 및 목표

• 원격 감지 의미 분할에서 장거리 픽셀 간 의존성을 효율적으로 모델링하는 문제를 해결하기 위해.
• 기존의 수작업으로 설계된 또는 정적 사전 지식 기반 그래프에 의존하지 않도록 하기 위해.
• 밀도 있는 예측 작업을 위해 그래프 신경망을 활용하는 경량이며 엔드 투 엔드로 훈련 가능한 프레임워크를 개발하기 위해.
• 고해상도 항공 영상에서 차량과 건물처럼 복잡하고 소형이며 맥락에 민감한 객체의 성능을 향상시키기 위해.
• 딥 컨volution 네트워크 및 어텐션 기반 모델들에 비해 계산 비용과 파라미터 수를 줄이기 위해.

제안 방법

• 변분 오토인코더 유사 프레임워크를 사용하여 컨볼루션 신경망의 특징 맵에서 직접 잠재 그래프 구조를 학습하는 자기 구축 그래프(SCG) 모듈을 도입한다.
• 노드 임베딩과 엣지 확률을 변분 하한에 맞춰 최적화하는 가역적 그래프 구축 메커니즘을 활용하며, 맞춤형 그래프 재구성 항목과 쿨백-라이블러 발산 정규화를 포함한다.
• 훈련 안정성 향상과 그래프 구조 학습 개선을 위해 적응형 대각선 강화 방법을 적용한다.
• 학습된 그래프를 통해 맥락 정보를 전파하기 위해 이중층 GNN(GCN 또는 GIN 등)을 사용하여 노드 수준의 분류를 수행한다.
• 최종 노드 예측 결과를 2차원 이미지 공간으로 다시 투영하여 밀도 높은 의미 분할 마스크를 생성한다.
• 표준 백프로파게이션을 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 사전 지식 기반 그래프 없이도 학습 가능한 엔드 투 엔드로 가역적인 그래프 구축 메커니즘이 의미 분할에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 정확도, 파라미터 효율성, 계산 비용 측면에서 SCG-Net의 성능은 강력한 컨볼루션 네트워크 기반 및 어텐션 기반 모델들과 비교해 어떻게 되는가?
• RQ3 자기 구축 그래프가 훈련 안정성과 수렴 속도 향상에 얼마나 기여하는가?
• RQ4 스펙트럼 기반 GNN(GCN)과 공간 기반 GNN(GIN) 등 다양한 GNN 아키텍처가 소형 및 고밀도 객체에 대해 성능에 어떤 영향을 미치는가?
• RQ5 학습된 그래프 구조가 모델 성능에 기여하는 정도는 어떠하며, 학습된 의존성은 얼마나 해석 가능성이 있는가?

주요 결과

• SCG-Net는 ISPRS Potsdam 데이터셋에서 평균 F1 스코어 92.0%를 기록했으며, Vaihingen 데이터셋에선 89.8%를 달성하여 파라미터 수가 훨씬 적은 강력한 기준 모델들보다 우수하거나 동등한 성능을 내었다.
• 딥 컨볼루션 네트워크 및 DANet, Non-Local 네트워크와 같은 어텐션 기반 모델들에 비해 계산 비용과 파라미터 수를 줄였다.
• 추론 중에 학습된 그래프 구조를 제거하면 mF1가 2.4% 감소하고 훈련 스텝 수가 5배 증가하여 그래프의 성능 및 훈련 효율성 향상에 핵심적인 역할을 함을 입증했다.
• SCG-Net 프레임워크에서 GCN과 GIN을 조합하면 차량과 같은 소형 객체의 F1 스코어가 최대 0.8% 향상되어 스펙트럼 기반과 공간 기반 GNN의 상호 보완적 이점이 있음을 시사한다.
• 밀도가 높고 근접한 소형 객체를 분할하는 데 한계를 보이며, 종종 하나의 세그먼트로 통합하는 경향이 있어 현재 GNN 기반 기법이 공간 정렬에 어려움을 겪고 있음을 시사한다.
• 제거 실험(ablation study) 결과, SCG 모듈이 성능 향상에 필수적이며, 이를 제외한 변형 모델들은 정확도와 훈련 효율성에서 뚜렷한 감소를 보였다.