[논문 리뷰] SketchGNN: Semantic Sketch Segmentation with Graph Neural Networks

Lumin Yang, Jiajie Zhuang외 4명|arXiv (Cornell University)|2020. 03. 02.

Multimodal Machine Learning Applications참고 문헌 46인용 수 5

한 줄 요약

SketchGNN는 자유형 벡터 스케치를 그래프로 모델링하여 의미적 스케치 분할을 위한 그래프 신경망을 제안한다. 노드는 샘플링된 점으로, 엣지는 스트로크 구조를 표현한다. 정적 및 동적 그래프 컨벌루션과 새로운 스트로크 풀링 연산을 결합함으로써, SPG 데이터셋에서 기존 최고 성능 기준보다 픽셀 기반 정확도가 11.2% 향상되고 구성 요소 기반 정확도가 18.2% 향상되며, 이미지 기반 또는 시퀀스 기반 방법보다 훨씬 적은 파라미터를 사용한다.

ABSTRACT

We introduce SketchGNN, a convolutional graph neural network for semantic segmentation and labeling of freehand vector sketches. We treat an input stroke-based sketch as a graph, with nodes representing the sampled points along input strokes and edges encoding the stroke structure information. To predict the per-node labels, our SketchGNN uses graph convolution and a static-dynamic branching network architecture to extract the features at three levels, i.e., point-level, stroke-level, and sketch-level. SketchGNN significantly improves the accuracy of the state-of-the-art methods for semantic sketch segmentation (by 11.2% in the pixel-based metric and 18.2% in the component-based metric over a large-scale challenging SPG dataset) and has magnitudes fewer parameters than both image-based and sequence-based methods.

연구 동기 및 목표

• 기존의 이미지 기반 및 시퀀스 기반 방법의 한계를 해결하기 위해, 스트로크 구조나 근접성 정보를 忽시하는 문제를 해결한다.
• 자유형 스케치의 흐린 구조와 구조적 모호성을 해결하기 위해, 풍부한 공간적 및 구조적 관계를 가진 그래프로 스케치를 모델링한다.
• 새로운 스트로크 풀링 메커니즘을 통해 개별 스트로크 내의 의미 레이블 일관성을 향상시킨다.
• 정적 및 동적 그래프 컨벌루션을 갖춘 이중 브랜치 아키텍처를 도입하여 스케치의 변형과 노이즈에 대한 강건성을 향상시킨다.
• 기존의 딥러닝 기반 접근법보다 정확도는 높이고 모델 복잡도는 낮춘 파라미터 효율적인 방법을 개발한다.

제안 방법

• 스케치를 2차원 점 집합 그래프로 표현하며, 노드는 스트로크를 따라 샘플링된 점이고, 엣지는 스트로크의 내재적 구조(정적)와 근접성 기반 관계(동적)를 모두 표현한다.
• 이중 브랜치 네트워크를 사용한다: 한 브랜치는 정적 엣지를 사용해 원래의 스트로크 토폴로지 유지하고, 다른 브랜치는 학습된 동적 엣지를 사용해 스트로크 간 관계를 캡처한다.
• 같은 스트로크 내 점들 간의 특징을 집계하여 스트로크 내 레이블 일관성을 향상시키는 새로운 스트로크 풀링 연산을 도입한다.
• 그래프 컨volutional 네트워크(GCNs)를 사용해 세 수준에서 계층적 특징을 추출한다: 점 수준, 스트로크 수준, 스케치 수준.
• 점의 절대 좌표를 활용해 공간적 근접성을 자연스럽게 인코딩하여, 시퀀스 기반 모델에서 사용하는 상대 좌표에 의존하지 않는다.
• 학습 중 데이터 증강을 적용한다: 낙서 친 스트로크에 새로운 또는 임의의 레이블을 할당하여, 노이즈가 있거나 완벽하지 않은 스케치에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 스페이셜 및 구조적 관계를 더 잘 모델링함으로써, 그래프 기반 딥러닝 접근법이 이미지 기반 및 시퀀스 기반 방법보다 의미적 스케치 분할에서 우월한 성능을 낼 수 있는가?
• RQ2 그래프 신경망은 어떻게 스트로크 수준의 구조를 유지하면서도 스트로크 간 관계를 캡처하여 분할 정확도를 향상시킬 수 있는가?
• RQ3 제안된 스트로크 풀링 연산은 표준 GCN 레이어에 비해 개별 스트로크 내 레이블 일관성에 얼마나 기여하는가?
• RQ4 이중 브랜치 아키텍처에서 정적 및 동적 엣지를 동시에 사용할 경우, 스케치 노이즈 및 구조적 변형에 대한 강건성은 어떻게 향상되는가?
• RQ5 이미지 기반 또는 시퀀스 기반 모델보다 훨씬 적은 파라미터로 그래프 기반 방법이 최고 성능을 달성할 수 있는가?

주요 결과

• SketchGNN는 과도한 SPG 데이터셋에서 이전 최고 성능 기준보다 픽셀 기반 정확도가 11.2% 향상되고 구성 요소 기반 정확도가 18.2% 향상된다.
• 이미지 기반 및 시퀀스 기반 딥러닝 방법과 비교해 파라미터 수를 수개의 주기수로 감소시켜 더 효율적인 모델이 된다.
• 정적 및 동적 엣지를 갖춘 이중 브랜치 아키텍처는 구조적 정확성과 관계 완전성 사이의 균형을 유지함으로써 성능 향상을 이룬다.
• 스트로크 풀링은 스트로크 내 레이블 일관성을 크게 향상시켜, 개별 스트로크 내에서의 잘못된 분류를 줄인다.
• 데이터 증강 전략—낙서 친 스트로크에 새로운 또는 기존의 임의의 클래스를 할당—은 특히 노이즈가 많거나 완벽하지 않은 스케치에서 강건성을 향상시킨다.
• 모델은 도메인 이탈이 있는 테스트 데이터에서도 잘 일반화되며, Huang14 및 TU-Berlin 벤치마크에서 강력한 성능을 보여, 다양한 데이터셋 간의 일반화 능력이 뛰어나다.