[논문 리뷰] Multi-Graph Transformer for Free-Hand Sketch Recognition

Peng Xu, Chaitanya K. Joshi외 1명|arXiv (Cornell University)|2019. 12. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 64인용 수 34

한 줄 요약

본 논문은 스케치를 희소하게 연결된 그래프로 표현하고, 여러 그래프 구조를 사용하여 로컬 기하학과 전역 시계열 관계를 포착하는 다중 그래프 트랜스포머를 도입하여 QuickDraw 데이터에서 강력한 스케치 인식 성능을 달성한다.

ABSTRACT

Learning meaningful representations of free-hand sketches remains a challenging task given the signal sparsity and the high-level abstraction of sketches. Existing techniques have focused on exploiting either the static nature of sketches with Convolutional Neural Networks (CNNs) or the temporal sequential property with Recurrent Neural Networks (RNNs). In this work, we propose a new representation of sketches as multiple sparsely connected graphs. We design a novel Graph Neural Network (GNN), the Multi-Graph Transformer (MGT), for learning representations of sketches from multiple graphs which simultaneously capture global and local geometric stroke structures, as well as temporal information. We report extensive numerical experiments on a sketch recognition task to demonstrate the performance of the proposed approach. Particularly, MGT applied on 414k sketches from Google QuickDraw: (i) achieves small recognition gap to the CNN-based performance upper bound (72.80% vs. 74.22%), and (ii) outperforms all RNN-based models by a significant margin. To the best of our knowledge, this is the first work proposing to represent sketches as graphs and apply GNNs for sketch recognition. Code and trained models are available at https://github.com/PengBoXiangShang/multigraph_transformer.

연구 동기 및 목표

• 희소하고 추상적인 선 구조를 더 잘 포착하기 위해 자유손 스케치를 그래프로 모델링하는 것을 동기로 삼는다.
• 스케치를 나타내는 여러 개의 희소 그래프에서 작동할 수 있는 Transformer 기반 아키텍처를 개발한다.
• 다중 그래프 트랜스포머가 RNN 기반 모델을 능가하고 QuickDraw 데이터에서 CNN 기반 방법과 경쟁력을 보임을 입증한다.
• 접근 방식의 강인성과 스케치 이외의 태스크에의 적용 가능성을 보여준다.

제안 방법

• 각 스케치를 다수의 희소하게 연결된 그래프로 표현한다: 내부-스트로크(로컬) 그래프와 스트로크 외부/글로벌(시간적) 그래프.
• 멀티그래프 멀티헤드 어텐션 서브레이어와 위치별 피드포워드 네트워크를 갖춘 다중 그래프 트랜스포머(MGT)를 도입한다.
• 좌표, 펜 상태 플래그 및 시간 위치 인코딩을 포함한 다중 모달 입력으로부터 노드 임베딩을 계산한다.
• 다중 그래프 멀티헤드 어텐션 메커니즘을 통해 여러 그래프에서 정보를 집계하고 분류를 위해 노드 특성을 합산한다.

실험 결과

연구 질문

• RQ1 Can sketches be effectively represented and processed as multiple sparse graphs for recognition?
• RQ2 Does a Transformer that operates on multiple graphs outperform RNN- and CNN-based sketch recognizers on large-scale data?
• RQ3 What is the contribution of local (intra-stroke) versus global (temporal) graph structures to recognition performance?
• RQ4 How does multi-modal input design (coordinates, pen state, temporal encoding) influence performance?
• RQ5 Is the approach scalable and beneficial for real-time sketch-based human-computer interaction?

주요 결과

• MGT achieves 0.707 acc@1 on Base and 0.728 acc@1 on Large, outperforming several RNN baselines and approaching CNN upper bounds on Google QuickDraw 345-class classification.
• MGT Large narrows the gap to top CNNs (Inception V3 and MobileNet V2) with 0.728 acc@1 vs. 0.7422 and 0.7310 respectively.
• Using domain-specific sketch graphs (A1-hop, A2-hop, A-global) significantly improves performance over fully-connected or random graphs.
• A three-graph configuration that combines local intra-stroke and global temporal graphs yields the best results among ablations.
• Compared to GCN/GAT baselines, MGT with sketch-specific graphs and multi-graph attention provides clear accuracy gains.