[論文レビュー] SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval

Peng Xu, Yongye Huang+7 more|arXiv (Cornell University)|Apr 4, 2018

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 16

ひとこと要約

SketchMateは、ストローク順序をモデル化するための新規二本のCNN-RNNアーキテクチャと、抽象度を考慮したスケッチ固有のハッシュ損失を活用した、ミリオンスケールのヒューマンスケッチ検索のためのディープハッシュフレームワークを提案する。この手法は、検索、ゼロショット一般化、スケッチ認識の面で最先端の性能を達成し、380万スケッチのデータセットで先行手法を上回る。

ABSTRACT

We propose a deep hashing framework for sketch retrieval that, for the first time, works on a multi-million scale human sketch dataset. Leveraging on this large dataset, we explore a few sketch-specific traits that were otherwise under-studied in prior literature. Instead of following the conventional sketch recognition task, we introduce the novel problem of sketch hashing retrieval which is not only more challenging, but also offers a better testbed for large-scale sketch analysis, since: (i) more fine-grained sketch feature learning is required to accommodate the large variations in style and abstraction, and (ii) a compact binary code needs to be learned at the same time to enable efficient retrieval. Key to our network design is the embedding of unique characteristics of human sketch, where (i) a two-branch CNN-RNN architecture is adapted to explore the temporal ordering of strokes, and (ii) a novel hashing loss is specifically designed to accommodate both the temporal and abstract traits of sketches. By working with a 3.8M sketch dataset, we show that state-of-the-art hashing models specifically engineered for static images fail to perform well on temporal sketch data. Our network on the other hand not only offers the best retrieval performance on various code sizes, but also yields the best generalization performance under a zero-shot setting and when re-purposed for sketch recognition. Such superior performances effectively demonstrate the benefit of our sketch-specific design.

研究の動機と目的

• スケッチ検索研究における大規模かつ多様なヒューマンスケッチデータセットの不足に対処すること。
• スケッチ認識よりもより挑戦的であるスケッチハッシュ検索（SHR）を新たなベンチマークとして導入し、微細な特徴学習とコン act なバイナリコードの両方を要件とする。
• 二本のCNN-RNNアーキテクチャを用いて、ヒューマンスケッチの順序的かつ動的な性質を、スクリプト順序を活用することでモデル化すること。
• ハミング空間におけるコンパクトで判別性の高いクラスタリングを促進するスケッチ固有のハッシュ損失を設計し、高い抽象度に対応すること。
• 提案フレームワークのスケッチ認識およびゼロショット検索への一般化性能を検証すること。

提案手法

• Google QuickDrawデータセットからサンプリングすることで、380万スケッチのヒューマンスケッチデータセット「QuickDraw-3.8M」を構築し、大規模な分析を可能にする。
• 二本のCNN-RNNアーキテクチャを採用：一方のブランチはスケッチ画像を静的特徴として処理し、もう一方はスクリプト順序をRNNで順序付きピクセルマップ上でモデル化する。
• 対照的損失、センター損失（SCL）、量子化損失を組み合わせた新規のスケッチ固有のハッシュ損失を導入し、ハミング空間におけるクラス内コンパクト性とクラス間分離性を向上させる。
• CNNとRNNの特徴を統合するためのジョイント埋め込み層を用い、微分可能バイナリ化関数を介してバイナリハッシュコードに射影する。
• 複数の損失成分を統合したエンドツーエンドのネットワーク最適化を実施：$\mathcal{L} = \mathcal{L}_{\text{contrastive}} + \mathcal{L}_{\text{SCL}} + \mathcal{L}_{\text{quantization}}$。
• 16〜64ビットの異なるコード長、ゼロショット設定、および下流のスケッチ認識タスクの下で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ディープハッシュフレームワークは、時間的スクリプト順序を保持しつつ、ミリオンスケールのヒューマンスケッチ検索に効果的にスケーリング可能か？
• RQ2 RNNを用いてスクリプト順序をモデル化することで、静的CNNと比較してスケッチ検索の特徴表現がどのように向上するか？
• RQ3 抽象度とクラスタリングを考慮したスケッチ固有のハッシュ損失は、大規模スケッチデータ上で標準的なハッシュ損失を上回る性能を示すか？
• RQ4 提案モデルはゼロショットスケッチ検索およびスケッチ認識タスクに一般化可能か？
• RQ5 検索および認識ベンチマークの両面で、提案モデルの性能は最先端手法と比較してどのように異なるか？

主な発見

• 提案されたSketchMateモデルは、ゼロショットスケッチハッシュ検索において平均平均精度（MAP）0.7547を達成し、DLBHC（0.7094）とDSH-Sketch（0.5334）を顕著に上回った。
• 64ビットハッシュコードを用いた場合、SketchMateはスケッチ認識で精度0.8051を達成し、Sketch-a-Net（0.6871）とResNet-50（0.7864）を上回った。
• スケッチ固有のセンター損失（SCL）を追加することで、標準センター損失よりも1.02%の性能向上が得られ、標準損失は性能を低下させることが確認され、スケッチに特化した設計の必要性が裏付けられた。
• 380万スケッチのギャラリー上でリアルタイム検索を達成し、クエリ時間は0.1秒未満、メモリ使用量はわずか12.5 MBに留まった。
• 定性的な結果から、意味的誤りが少なく、より現実的な誤検出が生じており、特徴の分離性と耐障害性の向上が示された。
• 時間的モデリングを有する二本のCNN-RNNアーキテクチャは、スケッチ認識で79.49%の精度を達成し、単一ブランチRNN（77.88%）およびCNN（73.76%）の変種を上回った。