[논문 리뷰] Can GCNs Go as Deep as CNNs

Guohao Li, Matthias Müller외 2명|arXiv (Cornell University)|2019. 04. 07.

Advanced Graph Neural Networks인용 수 36

한 줄 요약

이 논문은 컨volutional 네트워크(CNN)에서 영감을 받은 잔차(connection) 및 밀집(connection) 연결을 포함한 깊은 그래프 컨volution 네트워크(GCN) 프레임워크를 제안한다. 여기에 확장된 컨볼루션을 더해 매우 깊은 GCN의 학습을 가능하게 하였으며, 이를 통해 56층의 모델이 점군 세분화에서 최신 기술 대비 3.7%의 mIoU 향상을 달성하였다.

ABSTRACT

Convolutional Neural Networks (CNNs) achieve impressive performance in a wide variety of fields. Their success benefited from a massive boost when very deep CNN models were able to be reliably trained. Despite their merits, CNNs fail to properly address problems with non-Euclidean data. To overcome this challenge, Graph Convolutional Networks (GCNs) build graphs to represent non-Euclidean data, borrow concepts from CNNs, and apply them in training. GCNs show promising results, but they are usually limited to very shallow models due to the vanishing gradient problem. As a result, most state-of-the-art GCN models are no deeper than 3 or 4 layers. In this work, we present new ways to successfully train very deep GCNs. We do this by borrowing concepts from CNNs, specifically residual/dense connections and dilated convolutions, and adapting them to GCN architectures. Extensive experiments show the positive effect of these deep GCN frameworks. Finally, we use these new concepts to build a very deep 56-layer GCN, and show how it significantly boosts performance (+3.7% mIoU over state-of-the-art) in the task of point cloud semantic segmentation. We believe that the community can greatly benefit from this work, as it opens up many opportunities for advancing GCN-based research.

연구 동기 및 목표

• 기존 모델에서 GCN의 깊이를 제한하는 기울기 소실 문제를 해결하기 위해.
• 깊은 CNN과 유사한 매우 깊은 GCN 아키텍처의 학습을 가능하게 하기 위해.
• 비유클리드 데이터, 특히 점군 세분화에서의 성능 향상을 위해.
• 성공적인 CNN 기법—잔차 및 밀집 연결, 확장된 컨볼루션—을 GCN 프레임워크에 적응시키기 위해.

제안 방법

• 깊은 아키텍처에서 기울기 소실 문제를 완화하기 위해 CNN에서 유래한 잔차 및 밀집 스킵 연결을 GCNs에 적응시켰다.
• 파rameter 수나 레이어 수를 늘리지 않고도 수감 영역을 확장하기 위해 GCNs에 확장된 컨볼루션을 도입했다.
• 잔차 연결을 사용하여 최대 56층까지 학습 가능한 깊은 GCN 아키텍처를 설계했다.
• 그래프 컨볼루션 레이어를 사용하여 그래프 내 이웃 노드의 특징을 집계하는 학습 가능한 필터를 적용했다.
• 기울기 흐름을 유지하기 위해 항등 히든 연결(identity shortcuts)을 사용하여 학습 안정성을 향상시켰다.
• 다중 척도 수감을 확장된 컨볼루션을 통해 구현하여 깊은 GCNs에서의 특징 표현을 향상시켰다.

실험 결과

연구 질문

• RQ1 GCN은 기울기 소실 문제 없이 CNN과 유사하게 깊이 학습될 수 있는가?
• RQ2 잔차 및 밀집 연결은 GCN 아키텍처에서 학습 깊이를 어떻게 향상시키는가?
• RQ3 확장된 컨볼루션은 GCNs에서 수감 영역 확장을 어떻게 영향을 미치는가?
• RQ4 56층 GCN은 점군 세분화에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 잔차, 밀집, 확장된 메커니즘의 조합은 GCNs에서 어떤 성능 향상을 가져오는가?

주요 결과

• 제안된 깊은 GCN 프레임워크는 기존 GCN가 3~4층에 머무르는 것과는 달리, 56층 모델을 성공적으로 학습시켰다.
• 56층 GCN은 점군 세분화에서 최신 기술 대비 3.7%의 mIoU 향상을 달성하였다.
• 잔차 및 밀집 연결은 깊은 GCNs에서 기울기 소실 문제를 효과적으로 완화시켰다.
• 확장된 컨볼루션은 모델 깊이를 늘리지 않고도 수감 영역을 확장함으로써 특징 표현을 향상시켰다.
• 잔차, 밀집, 확장된 메커니즘의 조합은 실험 전반에서 일관된 성능 향상을 이끌어냈다.
• 이 프레임워크는 비유클리드 데이터 작업에서 GCNs가 깊은 CNN과 유사한 성능을 달성할 수 있음을 보여주었다.