[논문 리뷰] DeepGCNs: Can GCNs Go as Deep as CNNs?

Guohao Li, Matthias Müller외 2명|arXiv (Cornell University)|2019. 04. 07.

Advanced Graph Neural Networks참고 문헌 49인용 수 107

한 줄 요약

잔여, 밀집, 확장 연결 전략을 제안하여 포인트 클라우드 의미 분할을 위한 매우 깊은 Graph Convolutional Network(GCN)을 학습시키고, 56-layer GCN으로 상태‑의 최첨단 대비 3.7% mIoU 이득을 달성합니다.

ABSTRACT

Convolutional Neural Networks (CNNs) achieve impressive performance in a wide variety of fields. Their success benefited from a massive boost when very deep CNN models were able to be reliably trained. Despite their merits, CNNs fail to properly address problems with non-Euclidean data. To overcome this challenge, Graph Convolutional Networks (GCNs) build graphs to represent non-Euclidean data, borrow concepts from CNNs, and apply them in training. GCNs show promising results, but they are usually limited to very shallow models due to the vanishing gradient problem. As a result, most state-of-the-art GCN models are no deeper than 3 or 4 layers. In this work, we present new ways to successfully train very deep GCNs. We do this by borrowing concepts from CNNs, specifically residual/dense connections and dilated convolutions, and adapting them to GCN architectures. Extensive experiments show the positive effect of these deep GCN frameworks. Finally, we use these new concepts to build a very deep 56-layer GCN, and show how it significantly boosts performance (+3.7% mIoU over state-of-the-art) in the task of point cloud semantic segmentation. We believe that the community can greatly benefit from this work, as it opens up many opportunities for advancing GCN-based research.

연구 동기 및 목표

• 비유클리드 데이터에 대한 GCN의 깊이 한계를 동기 부여하고 해결합니다.
• CNN에서 차용한 메커니즘(잔여 연결/밀집 연결, 확장 합성)을 GCN에 적용합니다.
• 이 메커니즘이 학습 안정성 및 성능에 미치는 영향을 조사합니다.
• 대규모 포인트 클라우드 의미 분할(S3DIS)에서 심층 GCN의 효과를 입증합니다.
• 향후 심층 GCN 설계를 안내하기 위한 포괄적 절삭(아블레이션)을 제공합니다.

제안 방법

• 그래프를 특징이 풍부한 정점 임베딩과 이웃 집계로 표현합니다.
• 깊은 GCN에서 그래디언트 흐름을 개선하기 위해 잔여 및 밀집 연결 스킴을 도입합니다(ResGCN, DenseGCN).
• 해상도 손실 없이 수용 영역을 넓히기 위해 확장된 k-NN 기반 이웃 샘플링을 도입합니다.
• 3블록 아키텍처를 채택합니다: GCN 백본 블록, Fusion 블록, MLP 예측 블록.
• 학습 시 매 layer마다 재계산되는 확장된 k-NN로 동적 엣지를 사용합니다(학습 중 확률적).
• 안정성과 성능에 미치는 영향을 분리하기 위해 깊이, 폭, 이웃 수, 확장에 대해 광범위한 아블레이션 연구를 수행합니다.

실험 결과

연구 질문

• RQ1 CNN에서 차용한 깊이 향상 기법(잔여/밀집 연결, 확장)이 GCN에 효과적으로 번역될 수 있는가?
• RQ2 잔여 연결과 밀집 연결 및 확장 집계가 깊은 GCN의 안정성과 성능에 미치는 영향은 무엇인가?
• RQ3 포인트 클라우드 의미 분할에서 GCN은 얼마나 깊게 확장될 수 있으며 어떤 구성과 설정이 가장 큰 이득을 가져오는가?
• RQ4 확장된 집계가 수용 영역을 증가시키고 과도한 과소 매끄러움을 일으키지 않으면서 분할 정확도를 향상시키는가?
• RQ5 S3DIS에서 심층 ResGCN/DenseGCN의 성능은 최신 방법과 비교하여 어떤가?

주요 결과

• 깊은 GCN의 안정적 학습에는 잔여 그래프 연결이 필수적이며 이를 제거하면 성능이 급격히 떨어진다.
• 확장된 그래프 합성은 수용 영역을 확장하여 mIoU에서 뚜렷한 이득을 제공하며, 잔여 연결과 함께 사용할 때 특히 그렇다.
• 확장된 k-NN에 의해 재계산되는 동적 엣지는 성능을 향상시키지만 계산 비용이 더 높다.
• 밀집 연결은 잔여보다 비슷한 이득을 주지만 메모리 비용이 큰 편이므로 잔여가 많은 설정에서 더 실용적이다.
• 참고 모델 ResGCN-28(28 레이어, 잔여 연결, 확장 합성)은 S3DIS에서 60.0 mIoU를 달성하여 최신 방법(DGCNN 등)을 상당한 차이로 능가한다.
• 이 메커니즘을 갖춘 깊은 구조(56 레이어)는 강한 결과를 달성하며, ResGCN-56은 OA 53.64 및 53.64? 실질적인 해석은 메인 요지인 baselines 대비 mIoU의 상당한 개선이다.