[論文レビュー] Stroke-based sketched symbol reconstruction and segmentation

Kurmanbek Kaiyrbekov, Tevfik Metin Sezgin|arXiv (Cornell University)|Jan 10, 2019

Human Pose and Action Recognition参考文献 30被引用数 5

ひとこと要約

本稿では、スケッチされた記号を意味的に意味のあるコンポONENTに分割するためのストロークレベルのニューラルネットワークフレームワークを提案する。固定エンコーダとしてストロークベースの変分オートエンコーダ（ストローク-rnn）を用い、分類にマルチレイヤーパーセプトロン（MLP）を適用する。本手法は、新たにアノテートされた大規模データセットおよび既存のベンチマークで、最良のベースラインより平均8.1%の精度向上、先行研究より2.4%の向上を達成し、最先端の分類精度を実現した。

ABSTRACT

Hand-drawn objects usually consist of multiple semantically meaningful parts. For example, a stick figure consists of a head, a torso, and pairs of legs and arms. Efficient and accurate identification of these subparts promises to significantly improve algorithms for stylization, deformation, morphing and animation of 2D drawings. In this paper, we propose a neural network model that segments symbols into stroke-level components. Our segmentation framework has two main elements: a fixed feature extractor and a Multilayer Perceptron (MLP) network that identifies a component based on the feature. As the feature extractor we utilize an encoder of a stroke-rnn, which is our newly proposed generative Variational Auto-Encoder (VAE) model that reconstructs symbols on a stroke by stroke basis. Experiments show that a single encoder could be reused for segmenting multiple categories of sketched symbols with negligible effects on segmentation accuracies. Our segmentation scores surpass existing methodologies on an available small state of the art dataset. Moreover, extensive evaluations on our newly annotated big dataset demonstrate that our framework obtains significantly better accuracies as compared to baseline models. We release the dataset to the community.

研究の動機と目的

• スタイライゼーション、アニメーション、スケッチ理解の応用分野において、手書きの記号を意味的に意味のあるコンポONENTに分割する課題に対処すること。
• 単一のストロークレベルのトレーニングセットから、多様なオブジェクトカテゴリを再構成可能な生成モデルを開発し、記号カテゴリ間での転移性を実現すること。
• 分類モデルの堅牢な評価を支援するため、コンポONENTレベルのラベルが付与された、包括的で大規模なアノテート済みスケッチ記号データセットを構築すること。
• ストロークレベルの再構成モデルから得た固定事前学習済み特徴を活用することで、既存の分類ベースラインを上回ること。

提案手法

• ストローク-rnnモデルを、双方向RNNエンコーダと自己回帰的デコーダを用いて、ベクトル化されたスケッチからの個々のストロークを再構成する生成的VAEとして訓練する。
• ストローク-rnnのエンコーダを固定特徴抽出器として使用し、各ストロークの形状、位置、輪郭情報をエンコードする潜在ベクトルを生成する。
• これらの固定特徴に基づいて、マルチレイヤーパーセプトロン（MLP）を訓練し、各ストロークをその対応する意味的コンポONENT（例：頭部、腕、ホイール）に分類する。
• フレームワークは、5つのカテゴリにまたがる500スケッチの新規アノテート済みデータセットと、Huangらの既存ベンチマークデータセットの両方で評価される。
• モデルは、異なる記号カテゴリ間で同じエンコーダを再利用しても精度の低下が最小限に抑えられ、効率的な転移学習が可能である。
• 比較のため、IDM特徴を用いたSVMベースの分類モデルを導入し、提案手法のディープラーニングアプローチの優位性を示した。

実験結果

リサーチクエスチョン

• RQ1 1つのストロークレベルのVAEエンコーダを、性能劣化を最小限に抑えつつ、複数の記号カテゴリにわたってコンポONENT分類に効果的に再利用可能か？
• RQ2 生成的再構成モデルからの特徴のみに依存するニューラルネットワークが、従来の手作業特徴抽出手法を上回る性能を示せるか？
• RQ3 生成モデルおよび分類ヘッドの両方において、トレーニングデータセットサイズの増加に伴うモデル性能のスケーリング特性は？
• RQ4 アクティブラーニングや戦略的サンプリングを用いる場合、少量のアノテート済みスケッチでも高い分類精度を達成できるか？

主な発見

• 提案されたニューラルネットワークモデルは、著者らが新たにアノテートしたデータセットにおいて、最良のベースラインSVMモデルより平均8.1%の精度向上を達成した。
• Huangらのベンチマークデータセットでは、先行する最先端手法より平均2.4%の精度向上を達成した。
• 同じエンコーダを異なる記号カテゴリ間で再利用しても、分類性能が安定的かつ高い水準を維持しており、強力な転移性を示した。
• 10から200スケッチまでのトレーニングデータセットサイズの増加に伴い、分類精度は一貫して向上し、その後は増益が鈍化する傾向を示し、飽和点が存在することがわかった。
• 500個の記号でのトレーニングでエンコーダが最適な性能を達成したため、高品質なストロークレベル表現を効率的に学習可能であることが示された。
• 1つの事前学習済みエンコーダを複数のカテゴリに再利用することで、分類ネットワークのトレーニング時間を大幅に短縮可能であることを示した。