[論文レビュー] Enabling My Robot To Play Pictionary : Recurrent Neural Networks For Sketch Recognition

Ravi Kiran Sarvadevabhatla, Jogendra Nath Kundu+1 more|arXiv (Cornell University)|Aug 11, 2016

Handwritten Text Recognition Techniques参考文献 19被引用数 11

ひとこと要約

本論文は、160種類のオブジェクトカテゴリを含む大規模なスケッチデータセット上で最先端の性能を達成する、オンラインフリー手書きスケッチ認識のためのGated Recurrent Unit (GRU) を用いた再帰的ニューラルネットワークフレームワークを提案する。このモデルは、AlexNetからの深層特徴量と重み付き各スティック損失を活用し、スケッチのストロークデータにおける順序的および構造的規則性をリアルタイムで活用することで、ロボット支援Pictionaryゲームなどのインタラクティブなアプリケーションに不可欠な正確な即時の認識を実現する。

ABSTRACT

Freehand sketching is an inherently sequential process. Yet, most approaches for hand-drawn sketch recognition either ignore this sequential aspect or exploit it in an ad-hoc manner. In our work, we propose a recurrent neural network architecture for sketch object recognition which exploits the long-term sequential and structural regularities in stroke data in a scalable manner. Specifically, we introduce a Gated Recurrent Unit based framework which leverages deep sketch features and weighted per-timestep loss to achieve state-of-the-art results on a large database of freehand object sketches across a large number of object categories. The inherently online nature of our framework is especially suited for on-the-fly recognition of objects as they are being drawn. Thus, our framework can enable interesting applications such as camera-equipped robots playing the popular party game Pictionary with human players and generating sparsified yet recognizable sketches of objects.

研究の動機と目的

• 既存のスケッチ認識手法が、スケッチの自由なストロークの順序的性質をスケーラブルで自然な方法で活用できないという制限を解消すること。
• スケッチの途中段階でもオブジェクトを認識できる深層学習フレームワークを開発し、未完成なスケッチのリアルタイム・オンライン解釈を可能にすること。
• 再帰的アーキテクチャの選択（GRU 対 LSTM）および深層特徴表現（AlexNet 対 SketchCNN）がスケッチ認識精度に与える影響を調査すること。
• カメラ搭載ロボットがPictionaryをプレイできるようなインタラクティブなアプリケーションを可能にするために、低遅延かつ高精度なスケッチ認識を提供すること。

提案手法

• フレームワークは、各ストロークを段階的にレンダリングした累積ストローク画像を入力とし、それらをGRUベースの再帰的ネットワークに供給する。
• 深層特徴量は事前学習済みのAlexNetモデルを用いて抽出され、最終的な全結合層（4096次元）の出力をGRUの入力として使用する。
• 学習中に各タイムステップごとの損失関数に重みを付けることで、早期認識性能を強調する動的調整の損失重みを適用する。
• バックプロパゲーション・スル・タイムを用いてエンド・トゥ・エンドでモデルを学習し、各タイムステップで損失を計算し、ネットワークパラメータを更新する。
• SketchCNN特徴量のためのマルチスケール入力戦略を採用し、各スケッチの5つのスケーリングバージョンから得た512次元特徴量を連結して、再帰モデルの入力として2560次元の特徴量を形成する。
• 実験ではGRUとLSTMアーキテクチャを比較し、AlexNet-FCおよびSketchCNN-SCh-FC特徴量を用い、部分的スケッチ状態下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークアーキテクチャは、フリー手書きスケッチのストロークデータに内在する長期的な順序的および構造的規則性を、効果的に活用できるか？
• RQ2 深層特徴表現の選択（例：AlexNet 対 SketchCNN）が、オンラインスケッチ認識設定における認識性能に与える影響は何か？
• RQ3 各タイムステップ損失に重みを付けることで、特にスケッチ描画の初期段階において認識精度がどの程度向上するか？
• RQ4 部分的に描かれたスケッチに対するオンライン認識性能において、GRUベースのフレームワークは、静的CNNベースのモデルと比べてどの程度優れているか？

主な発見

• GRUベースのフレームワークは、160カテゴリのスケッチデータセットで最先端の認識精度を達成し、訓練データの57％しか使用していないにもかかわらず、SketchCNNなどの最良のCNNベースのモデルをも上回った。
• AlexNet特徴量を用いたGRUモデルは、LSTMおよびCNNベースラインと比較して顕著に優れた性能を示し、順序的スケッチ認識にGRUアーキテクチャの優位性を実証した。
• 本フレームワークは、20％から100％のストロークまで、他のモデルと比較してより多くのスケッチを認識することができ、その強力なオンライン認識能力を裏付けた。
• 誤分類は意味的に妥当なもの（例：ギターがバイオリンと誤認）であり、モデルが表面的な視覚的パターンではなく、意味的なオブジェクトレベルの意味を捉えていることを示している。
• 重み付き各タイムステップ損失の使用により、早期認識性能が向上し、特にストローク完了率が20～40％の段階で高い認識精度が得られた。
• AlexNetからの深層特徴量とGRUベースの再帰的アーキテクチャの組み合わせが、最も優れた全体的な性能を発揮した。これは、特徴表現と順序モデリングの両方の重要性を強調している。