[論文レビュー] The DIDI dataset: Digital Ink Diagram data

Philippe Gervais, Thomas Deselaers+2 more|arXiv (Cornell University)|Feb 20, 2020

Handwritten Text Recognition Techniques参考文献 12被引用数 9

ひとこと要約

DIDIデータセットは、AndroidデバイスおよびChromebookを用いたプロンプトベースのデータ収集プロセスにより収集された、58,655件のデジタルインク図解図画（22,287件はテキストラベル付き、36,368件はなし）からなる大規模なコレクションを提供する。このデータセットは、動的ストロークおよびタイムスタンプ情報を持つ図解のデータ駆動型モデリングを可能にし、インタラクティブなグラフィカル記号理解分野における研究を支援する。クリエイティブ・コモンズ・ライセンスでリリースされ、機械学習フレームワーク統合用の例題コードも提供されている。

ABSTRACT

We are releasing a dataset of diagram drawings with dynamic drawing information. The dataset aims to foster research in interactive graphical symbolic understanding. The dataset was obtained using a prompted data collection effort.

研究の動機と目的

• テキストと手書きの形状を含むインタラクティブな図解理解のためのモデルを訓練するための、大規模かつ多様なデータセットの不足に対処すること。
• 時間的・空間的情報を備えた動的デジタルインクデータを提供することで、機械学習およびヒューマンコンピュータインタラクション分野における研究を促進すること。
• 意味的に関連する手書きテキスト、形状、図解のデータ駆動型モデリングを可能にすることで、図解作成および編集のための知的ツールの開発を支援すること。
• 従来のデータセットが小規模であり、ディープラーニングに不適切であるという制限を克服するため、大規模で多様かつ良好に構造化されたデータセットをリリースすること。
• 実際のユーザー生成データを用いて、複雑なマルチモーダル図解コンテンツのエンドツーエンド認識および理解を可能にする研究を促進すること。

提案手法

• 参加者がスクリーン上に重ねられたフローチャート図を再描画するように促されたAndroidアプリをChromebookおよびモバイルデバイスで使用してデータを収集した。
• 図はランダムに生成されたdotファイルからGraphVizを用いて生成され、ノードの形状、ラベル、エッジ構造が161種類の固有の構成で変化させられた。
• 各図画は、一意のキー、label_id、分割（トレーニング／検証／テスト）、書き込みガイド（キャンバスの寸法）、およびx、y、タイムスタンプ座標を含むストロークのネストされた配列を持つNDJSON形式で保存された。
• トレーニング、検証、テストのセットを不重複なライターの識別子に基づいて分割した。トレーニングに6/8、検証とテストにそれぞれ1/8のデータを使用した。
• 元のdotファイル、PNG形式のプロンプト画像、レンダリング用の拡張xdotファイルを含む補足ファイルは、クリエイティブ・コモンズ・アトリビューション4.0ライセンスでリリースされた。
• 可視化および一般的な機械学習フレームワークへの変換のための例題コードは、Colabノートブックで提供された。

実験結果

リサーチクエスチョン

• RQ1 グラフィカル記号理解分野における研究を支援するため、大規模かつ動的デジタルインクデータを効果的に収集・構造化する方法は何か？
• RQ2 図解にテキストラベルを含めることで、ユーザーが生成する図画の複雑さと多様性にどのような影響が生じるか？
• RQ3 時間的・空間的情報を備えた、ユーザーが描いた図解の多様で大規模なデータセットは、図解認識および理解タスクにおける性能向上に寄与できるか？
• RQ4 ライター単位での分割が、DIDIデータセットでトレーニングされたモデルの一般化性能にどのように影響するか？
• RQ5 既存の機械学習フレームワークは、このデータセットを用いてエンドツーエンドの図解理解にどの程度効果的に活用できるか？

主な発見

• DIDIデータセットは、364名の参加者から収集された58,655件の固有の図解図画から構成され、そのうち22,287件はテキストラベルを含み、36,368件は含まれない。
• データセットには6,555種類の固有のラベルIDが含まれており、各ラベルは1回から169回まで使用されており、中央値は4回である。
• 図画は1〜161ストローク（中央値14）にわたり、2〜17,980ポイント（中央値1,559）を含んでおり、ユーザー入力の高い多様性が反映されている。
• ライターの識別子が不重複となるように、トレーニング（43,995）、検証（7,330）、テスト（7,330）のセットに分割された。
• データセットはクリエイティブ・コモンズ・アトリビューション4.0国際ライセンスでリリースされ、完全なソースコードおよび可視化および機械学習統合用の例題ノートブックが提供された。
• データ収集プロセスでは、多様で現実的なフローチャートのプロンプトを生成するためにGraphVizで生成されたdotファイルが使用され、図解の構造的・意味的多様性が保証された。