[論文レビュー] SketchGNN: Semantic Sketch Segmentation with Graph Neural Networks

Lumin Yang, Jiajie Zhuang+4 more|arXiv (Cornell University)|Mar 2, 2020

Multimodal Machine Learning Applications参考文献 46被引用数 5

ひとこと要約

SketchGNNは、自由なベクトルスケッチをグラフとしてモデル化するためのグラフニューラルネットワークを提案する。ノードはスケッチ上のサンプリング点として定義され、エッジはスケッチ構造を符号化する。静的および動的グラフ畳み込みと、独自のスケッチプーリング操作を組み合わせることで、SPGデータセット上で従来の最先端手法に比べてピクセルベースの精度が11.2%向上し、コンponentベースの精度が18.2%向上する。また、画像ベースや系列ベースの手法と比較して、はるかに少ないパラメータ数で実現している。

ABSTRACT

We introduce SketchGNN, a convolutional graph neural network for semantic segmentation and labeling of freehand vector sketches. We treat an input stroke-based sketch as a graph, with nodes representing the sampled points along input strokes and edges encoding the stroke structure information. To predict the per-node labels, our SketchGNN uses graph convolution and a static-dynamic branching network architecture to extract the features at three levels, i.e., point-level, stroke-level, and sketch-level. SketchGNN significantly improves the accuracy of the state-of-the-art methods for semantic sketch segmentation (by 11.2% in the pixel-based metric and 18.2% in the component-based metric over a large-scale challenging SPG dataset) and has magnitudes fewer parameters than both image-based and sequence-based methods.

研究の動機と目的

• 従来の画像ベースおよび系列ベースの手法には、スケッチ構造や近接関係情報を無視するという限界があることに対処する。
• スケッチの疎らさと構造的曖昧さを、空間的および構造的関係が豊富なグラフとしてモデル化することで克服する。
• 独自のスケッチプーリング機構を用いて、個々のスケッチ内でのセマンティックラベルの一貫性を向上させる。
• 静的および動的グラフ畳み込みを備えた二重ブランチアーキテクチャを導入することで、スケッチの変動やノイズに対して耐性を高める。
• 従来のディープラーニングベースの手法よりも精度を向上させつつ、モデルの複雑さを低減する、パrameter効率の良い手法を開発する。

提案手法

• スケッチを2次元点集合のグラフとして表現し、ノードはスケッチのストロークに沿ったサンプリング点として定義され、エッジは内部的なスケッチ構造（静的）と近接関係（動的）を符号化する。
• 二重ブランチネットワークを採用：一方のブランチは静的エッジを用いて元のスケッチトポロジを保持し、もう一方のブランチは学習された動的エッジを用いてストローク間の関係を捉える。
• 同一ストローク内の点の特徴を統合することで、ストローク内でのラベル一貫性を向上させる、独自のスケッチプーリング操作を導入する。
• グラフ畳み込みネットワーク（GCNs）を用いて、点レベル、ストロークレベル、スケッチレベルの3段階の階層的特徴を抽出する。
• 点の絶対座標を活用して空間的近接性を自然に符号化し、系列ベースモデルで用いられる相対座標に依存しない。
• トレーニング時にデータ拡張を実施し、スクラッチしたストロークに新しいまたはランダムなラベルを割り当てることで、ノイズや不完全なスケッチに対しても耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのディープラーニングアプローチは、空間的および構造的関係をより良くモデル化することで、画像ベースおよび系列ベースの手法を上回る性能を発揮できるか？
• RQ2 グラフニューラルネットワークは、スケッチの構造的整合性を保ちつつ、ストローク間の関係を捉えることで、セグメンテーション精度を向上させられるか？
• RQ3 提案されたスケッチプーリング操作は、標準のGCN層と比較して、個々のストローク内でのラベル一貫性をどの程度向上させるか？
• RQ4 二重ブランチアーキテクチャにおける静的および動的エッジの併用は、スケッチのノイズや構造的変動に対して、どの程度耐性を高めるか？
• RQ5 画像ベースや系列ベースの手法と比較して、はるかに少ないパラメータ数で最先端の性能を達成できるか？

主な発見

• SketchGNNは、挑戦的なSPGデータセット上で、従来の最先端手法に比べてピクセルベースの精度が11.2%向上し、コンponentベースの精度が18.2%向上した。
• 画像ベースおよび系列ベースのディープラーニング手法と比較して、パラメータ数を桁違いに削減し、より効率的なモデルとなった。
• 静的および動的エッジを備えた二重ブランチアーキテクチャは、構造的整合性と関係の完全性の両立を図ることで性能を向上させた。
• スケッチプーリングは、個々のストローク内でのラベル一貫性を顕著に向上させ、ストローク内での誤分類を低減した。
• データ拡張戦略（スクラッチしたストロークに新しいまたはランダムな既存クラスのラベルを割り当てる）により、特にノイズや不完全なスケッチに対して耐性が向上した。
• ドメインシフトが生じるテストデータに対しても、Huang14およびTU-Berlinベンチマークで強力な性能を示し、モデルの汎化能力が優れていることが示された。