[論文レビュー] Vectorization and Rasterization: Self-Supervised Learning for Sketch and Handwriting

Ayan Kumar Bhunia, Pinaki Nath Chowdhury+4 more|arXiv (Cornell University)|Mar 25, 2021

Multimodal Machine Learning Applications参考文献 64被引用数 8

ひとこと要約

本論文は、ラスタ画像とベクタ座標列の間のクロスモダリティ翻訳（ベクタ化：画像からベクタへ、ラスタ化：ベクタから画像へ）を活用して、スケッチおよび筆圧データの自己教師付き学習フレームワークを提案する。これにより、強力で一般化性の高い表現を学習する。本手法は、スケッチ認識、検索、筆圧タスクにおいて、既存の自己教師付きおよび一部の完全教師付きベースラインを上回り、自己教師付き事前学習を用いたQuickDrawデータセットにおけるトップ1正解率は71.9%を達成した。

ABSTRACT

Self-supervised learning has gained prominence due to its efficacy at learning powerful representations from unlabelled data that achieve excellent performance on many challenging downstream tasks. However supervision-free pre-text tasks are challenging to design and usually modality specific. Although there is a rich literature of self-supervised methods for either spatial (such as images) or temporal data (sound or text) modalities, a common pre-text task that benefits both modalities is largely missing. In this paper, we are interested in defining a self-supervised pre-text task for sketches and handwriting data. This data is uniquely characterised by its existence in dual modalities of rasterized images and vector coordinate sequences. We address and exploit this dual representation by proposing two novel cross-modal translation pre-text tasks for self-supervised feature learning: Vectorization and Rasterization. Vectorization learns to map image space to vector coordinates and rasterization maps vector coordinates to image space. We show that the our learned encoder modules benefit both raster-based and vector-based downstream approaches to analysing hand-drawn data. Empirical evidence shows that our novel pre-text tasks surpass existing single and multi-modal self-supervision methods.

研究の動機と目的

• スケッチおよび筆圧解析におけるデータアノテーションのボトルネックを解消するため、自己教師付き表現学習を可能にする。
• スケッチおよび筆圧データの二重ラスタ／ベクタ特性を、共通の監視信号として活用する。
• 画像ベースおよびシーケンスベースの下流モデルの両方に利益をもたらす統一された事前タスクを設計する。
• 教師あり学習が不実用な低データ環境でのパフォーマンスを向上させる。
• スケッチと筆圧の間で、クロスモダリティおよびクロスタスクの転移学習を可能にする。

提案手法

• ラスタ画像とベクタ列の間のクロスモダリティ翻訳として、2つの新規事前タスクを提案する：ベクタ化（ラスタ画像からベクタ列へのマッピング）およびラスタ化（ベクタ列からラスタ画像へのマッピング）。
• 両モダリティからの特徴抽出に共通のエンコーダーベース（例：ResNet）を用い、各翻訳方向ごとに別々のデコーダーを設ける。
• 類似するスケッチの異なるモダリティ間の特徴を対応付けるために対照的学習を採用し、分離可能で意味的に豊かな表現を促進する。
• 耐性を高めるために、標準的なデータ拡張（水平反転、ランダムクロッピング）を適用するが、結果は拡張戦略に強く依存せず安定している。
• 学習済み表現の上に線形分類器を設け、固定された特徴量上で線形プローブを用いて特徴量を評価する。
• 両モダリティの特徴量を連結することで、下流タスクにおけるパフォーマンスをさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラスタ画像とベクタ列の間のクロスモダリティ翻訳が、スケッチおよび筆圧データの自己教師付き事前タスクとして有効であるか？
• RQ2 提案手法が、異なるスケッチカテゴリーやデータセットに一般化する表現を学習するか？
• RQ3 あるモダリティ（例：画像）から学習した特徴量が、別のモダリティ（例：ベクタ）の下流タスクに効果的に転送可能か？
• RQ4 スケッチおよび筆圧認識タスクにおいて、SimCLR、MoCo、CPCといった既存の自己教師付き手法と比較して、本手法のパフォーマンスはどの程度か？
• RQ5 自己教師付き特徴量は、低データ環境において完全教師ありベースラインと同等またはそれを上回る性能を達成できるか？

主な発見

• 評価対象が80クラスの未学習QuickDrawクラスである場合、本手法はスケッチ画像で65.1%、ベクタで58.4%のトップ1正解率を達成し、SimCLR（画像で53.6%）を顕著に上回った。
• QuickDrawからTU-Berlinへのクロスデータセット一般化において、本手法はスケッチ画像で58.9%、ベクタで36.9%のトップ1正解率を達成し、優れた転送性を示した。
• クロスタスク一般化において、手書きデータで評価した場合、本モデルはスケッチ画像で37.6%、ベクタで33.7%のトップ1正解率を達成し、CPCおよびランダムベースラインを上回った。
• 画像モダリティとベクタモダリティの特徴量を統合することで、トップ1正解率が72.8%に向上し、ラスタ画像のみを用いた71.9%を上回った。
• 本手法はバックボーンアーキテクチャに依存せず、AlexNetを用いた場合63.3%、ResNet50を用いた場合71.9%のトップ1正解率を達成し、設計の堅牢性を確認した。
• 低データ環境において、完全教師ありベースラインを上回り、自己教師付き事前学習のみでその性能に近づけることを示した。