[논문 리뷰] Self-Constructing Graph Convolutional Networks for Semantic Labeling

Qinghui Liu, Michael Kampffmeyer외 2명|arXiv (Cornell University)|2020. 03. 15.

Advanced Neural Network Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 입력 특징에서 사전 지식 없이 최적의 비국소적 문맥 그래프를 자가 구축하는 데 전용된 새로운 아키텍처인 Self-Constructing Graph Convolutional Networks (SCG-Net)를 제안한다. 학습 가능한 잠재 변수와 적응형 대각 강화를 갖춘 변동형 하한을 사용함으로써, 기존 최고 수준의 모델보다 14% 적은 파라미터와 더 낮은 FLOPs를 사용하면서도 ISPRS Vaihingen 데이터셋에서 경쟁력 있는 F1 점수(89.8%)를 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have received increasing attention in many fields. However, due to the lack of prior graphs, their use for semantic labeling has been limited. Here, we propose a novel architecture called the Self-Constructing Graph (SCG), which makes use of learnable latent variables to generate embeddings and to self-construct the underlying graphs directly from the input features without relying on manually built prior knowledge graphs. SCG can automatically obtain optimized non-local context graphs from complex-shaped objects in aerial imagery. We optimize SCG via an adaptive diagonal enhancement method and a variational lower bound that consists of a customized graph reconstruction term and a Kullback-Leibler divergence regularization term. We demonstrate the effectiveness and flexibility of the proposed SCG on the publicly available ISPRS Vaihingen dataset and our model SCG-Net achieves competitive results in terms of F1-score with much fewer parameters and at a lower computational cost compared to related pure-CNN based work. Our code will be made public soon.

연구 동기 및 목표

• 기존 그래프 신경망(GNN)이 의미 분할에서 수동으로 구성된 사전 그래프에 의존함으로써 발생하는 한계를 해결하기 위해.
• 사전 지식 없이 입력 특징에서 최적의 그래프 구조를 자동으로 학습하는 방법을 개발하기 위해.
• 자가 구축된 그래프를 딥 러닝 파이프라인에 통합하여 항공 영상에서 장거리 의존성의 모델링을 향상시키기 위해.
• 모델 복잡도와 계산 비용을 감소시키면서도 경쟁 가능한 의미 분할 성능를 달성하기 위해.

제안 방법

• SCG 모듈은 재구성된 가우시안 변수를 사용하는 변동형 오토인코더 유사 프레임워크를 통해 2D 특징 맵에서 잠재 임베딩을 학습한다.
• 차별 가능한 그래프 구축 과정이 잠재 표현에서 가중치가 부여된 인접 행렬 $\hat{A}$를 생성하며, 이는 엔드 투 엔드 학습을 가능하게 한다.
• 적응형 대각 강화 방법은 인접 행렬에 $\gamma \cdot \text{diag}(A')$ 를 더하여 이웃 보존성을 향상시킨다.
• 모델은 그래프 재구성과 쿨백-라이블러 발산 정규화를 결합한 변동형 하한 손실을 사용한다.
• 최종 예측을 개선하기 위해 잔차 예측 헤드 $\hat{\mathbf{y}} = \gamma \cdot \hat{\mathbf{z}}$ 가 도입된다.
• SCG-Net은 CNN 백본(ResNet50)과 두 층의 GCN을 사용하여 SCG 모듈을 통합하여 최종 의미 분할을 수행한다.

실험 결과

연구 질문

• RQ1 의미 분할을 위해 사전 지식 기반 그래프에 의존하지 않고도 원시 특징 맵에서 그래프를 자가 구축할 수 있는가?
• RQ2 차별 가능하고 엔드 투 엔드로 학습 가능한 그래프 구축 메커니즘이 항공 영상에서 장거리 문맥 모델링을 어떻게 향상시킬 수 있는가?
• RQ3 적응형 대각 강화와 변동형 정규화는 그래프 품질과 분할 성능에 어떤 영향을 미치는가?
• RQ4 자기 구축 그래프 아키텍처는 기존의 CNN 및 GCN 기반 모델보다 적은 파라미터와 낮은 FLOPs로 경쟁 가능한 성능를 달성할 수 있는가?

주요 결과

• SCG-Net은 ISPRS Vaihingen 테스트 세트에서 F1 점수 89.8%를 기록하여 성능이 가장 뛰어난 DDCM-R50 모델과 동일한 성능를 달성한다.
• 모델은 874만 개의 파라미터를 사용하며, DDCM-R50의 999만 개 파라미터보다 12.5% 적다.
• SCG-Net의 계산 비용은 43.7억 FLOPs로 DDCM-R50의 48.6억 FLOPs보다 낮다.
• 적응형 대각 강화 방법은 이웃 보존성을 향상시키며 더 나은 그래프 구조 학습에 기여한다.
• 정성적 결과에서는 복잡한 물체 영역에서 SCG-Net의 예측이 지표와 시각적으로 유사한 경향을 보였다.
• 모델은 건물, 나무, 저지대 식생 등 다양한 지형 유형에서 강력한 일반화 능력과 강인성을 보였다.