[논문 리뷰] SketchGCN: Semantic Sketch Segmentation with Graph Convolutional Networks.

Lumin Yang, Jiajie Zhuang외 3명|arXiv (Cornell University)|2020. 03. 02.

Multimodal Machine Learning Applications참고 문헌 47인용 수 18

한 줄 요약

SketchGCN는 자유형 스케치를 2차원 점집합으로 모델링하고, 스트로크 구조를 그래프 표현으로 인코딩하여 정확한 의미 분할을 가능하게 하는 그래프 컬러리션 네트워크를 제안한다. 글로벌-로컬 분기 아키텍처와 그래프 컬러리션을 활용함으로써, 이는 이미지 기반 또는 시퀀스 기반 방법보다 훨씬 적은 파라미터를 사용하면서도 최신 기술 수준의 성능을 달성한다. SPG 데이터셋에서 픽셀 기반 정확도는 11.4% 향상되고 구성 요소 기반 정확도는 18.2% 향상되었다.

ABSTRACT

We introduce SketchGCN, a graph convolutional neural network for semantic segmentation and labeling of free-hand sketches. We treat an input sketch as a 2D pointset, and encode the stroke structure information into graph node/edge representations. To predict the per-point labels, our SketchGCN uses graph convolution and a global-local branching network architecture to extract both intra-stroke and inter-stroke features. SketchGCN significantly improves the accuracy of the state-of-the-art methods for semantic sketch segmentation (by 11.4% in the pixel-basedmetric and 18.2% in the component-based metric over a large-scale challenging SPG dataset) and has magnitudes fewer parameters than both image-based and sequence-based methods.

연구 동기 및 목표

• 자연스럽게 그린 스케치에서 스트로크 구조와 공간적 관계가 정확한 레이블링에 매우 중요하므로, 이러한 요소들을 고려한 의미 분할 문제를 해결하기 위함이다.
• 기존의 이미지 기반 또는 시퀀스 기반 방법은 구조적 관계를 간과하거나 매우 많은 파라미터를 요구하므로, 이를 개선하기 위함이다.
• 정확한 포인트 기반 의미 레이블링을 위해 내부 스트로크 및 상호 스트로크 특징을 모두 포괄하는 경량이지만 강력한 모델을 개발하기 위함이다.

제안 방법

• 입력 스케치는 각 점을 그래프의 노드로 간주하고, 엣지는 국소적 스트로크 구조와 공간적 밀도를 인코딩하도록 처리된다.
• 그래프 컬러리션 레이어를 통해 점집합 그래프에서 계층적인 특징을 추출하며, 국소적 및 글로벌한 구조 패턴을 모두 캡처한다.
• 노드와 엣지 표현은 그래프 내 이웃 노드를 통해 정보를 집계하는 메시지 전달 메커니즘을 통해 학습된다.
• 최종 예측 헤드는 그래프 네트워크에서 유합된 글로벌 및 로컬 특징을 사용하여 각 점의 의미 레이블을 생성한다.
• 모델은 엔트로피 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, 분할 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 기존의 이미지 기반 및 시퀀스 기반 방법보다 그래프 기반 딥러닝 접근법이 의미 스케치 분할에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 그래프 컬러리션 네트워크가 자유형 스케치에서 내부 스트로크 및 상호 스트로크의 구조적 관계를 얼마나 효과적으로 캡처할 수 있는가?
• RQ3 제안된 글로벌-로컬 분기 아키텍처는 표준 GCN 또는 완전 연결 기반 베이스라인 대비 분할 정확도를 얼마나 향상시키는가?
• RQ4 그래프 기반 모델이 경쟁 기법들보다 훨씬 적은 파라미터로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SketchGCN는 SPG 데이터셋에서 이전 최고 성능 모델 대비 픽셀 기반 분할 정확도를 11.4% 향상시켰다.
• 구성 요소 기반 분할 정확도는 18.2% 향상되어 스케치의 구조적 요소를 보다 우수하게 처리하는 것으로 나타났다.
• 이미지 기반 및 시퀀스 기반 방법보다 수 개의 수준 더 적은 파라미터를 사용하여 높은 파라미터 효율성을 입증했다.
• 글로벌-로컬 분기 설계는 세밀한 스트로크 수준의 세부 정보와 더 넓은 구조적 맥락을 효과적으로 캡처하여 분할 성능을 향상시켰다.