[論文レビュー] Sequential Dual Deep Learning with Shape and Texture Features for Sketch Recognition

Qi Jia, Meiyu Yu+2 more|arXiv (Cornell University)|Aug 9, 2017

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 11

ひとこと要約

本論文では、スケッチ認識におけるスティル順序の変動に対するロバスト性を向上させるために、ゲート付き再帰ユニット（GRUs）を用いて形状特徴とテクスチャ特徴を同時にモデル化する逐次的二重ディープラーニングフレームワークを提案する。形状コンテキスト特徴をエンコードし、Sketch-A-Netを介してテクスチャ特徴を抽出することで、二つのモalityを二重GRUとジョイントベイジアン統合により統合し、TU-Berlinデータセットで92.2%の正確性を達成した。これは、最先端手法を7ポイント以上上回る結果である。

ABSTRACT

Recognizing freehand sketches with high arbitrariness is greatly challenging. Most existing methods either ignore the geometric characteristics or treat sketches as handwritten characters with fixed structural ordering. Consequently, they can hardly yield high recognition performance even though sophisticated learning techniques are employed. In this paper, we propose a sequential deep learning strategy that combines both shape and texture features. A coded shape descriptor is exploited to characterize the geometry of sketch strokes with high flexibility, while the outputs of constitutional neural networks (CNN) are taken as the abstract texture feature. We develop dual deep networks with memorable gated recurrent units (GRUs), and sequentially feed these two types of features into the dual networks, respectively. These dual networks enable the feature fusion by another gated recurrent unit (GRU), and thus accurately recognize sketches invariant to stroke ordering. The experiments on the TU-Berlin data set show that our method outperforms the average of human and state-of-the-art algorithms even when significant shape and appearance variations occur.

研究の動機と目的

• スティル順序やスケッチスタイルに大きなクラス内変動が生じる状況下でのスケッチ認識の課題に対処すること。
• 単一のテクスチャまたは幾何的特徴に依存する既存手法の限界、あるいはスティル順序の逐次的構造を無視する点を克服すること。
• 逐次的で再帰的なアーキテクチャ内で形状とテクスチャ特徴を同時にモデル化することで、認識正確性を向上させること。
• 形状特徴が、同じテクスチャだが異なる幾何構造を持つスケッチを区別する上で果たす役割を検証すること。
• ジョイントベイジアン統合が、時間ステップに跨る特徴の動的重み付けを適切に行い、分類性能を向上させることを示すこと。

提案手法

• 各スケッチをスティルの進行をモデル化するための5つの逐次的スティルグループに分割する。
• 幾何的構造を表現するための符号化された形状コンテキスト特徴を抽出し、事前学習済みのSketch-A-Netを用いて深層テクスチャ特徴を抽出する。
• 二つの独立したゲート付き再帰ネットワーク（GRUs）が、それぞれテクスチャ特徴と形状特徴を処理し、モダリティ固有の表現を保持する。
• 各時間ステップで二つのGRUの出力を連結し、三番目のGRUに供給することで、クロスモーダル特徴統合を実現する。
• ジョイントベイジアン統合を適用して、時間ステップに跨る特徴に動的重みを割り当て、識別力を強化する。
• スケッチ分類のため、最終的な統合特徴にサムプールを適用する。

実験結果

リサーチクエスチョン

• RQ1 二重逐次学習フレームワークを用いて形状特徴とテクスチャ特徴を統合することで、スケッチ認識の正確性が向上するか？
• RQ2 符号化された形状コンテキスト特徴の使用は、同じテクスチャだが異なる幾何構造を持つスケッチを区別するのにどの程度有効か？
• RQ3 個々のスティルではなくスティルグループをモデル化することで、スティル順序の変動に対する感受性はどの程度低下するか？
• RQ4 ジョイントベイジアン統合は、時間ステップに跨る特徴の適応的重み付けにより分類性能を向上させるか？
• RQ5 提案手法は、TU-Berlinベンチマークで人間の認識水準および最先端手法を上回る性能を達成できるか？

主な発見

• 提案手法はTU-Berlinデータセットで92.2%の認識正確性を達成し、最先端手法を7ポイント以上上回った。
• 形状特徴を含まない手法はすべてのクエリスケッチで失敗するが、形状特徴を含む手法はすべてのクエリを正しく分類する。これは、形状特徴が類似したテクスチャを区別する上で極めて重要な役割を果たしていることを示している。
• ジョイントベイジアン統合を適用することで、認識正確性がソフトマックスのみの88.2%から92.2%に向上した。これは、時間ステップに跨る特徴の重み付けが有効であることを確認している。
• 同様に見えるテクスチャを持つが形状が異なる、コガネムシのくちばしとオナガドリのくちばしの微妙な違いを正しく区別できた。
• ジョイントベイジアン統合を適用しなくても、形状特徴の導入により正しく分類が可能であった。これは、形状特徴自体が独立した識別力を持つことを証明している。
• 平均的人間認識率73%を上回る性能をTU-Berlinデータセットで達成した。