[論文レビュー] Synthetically Trained Icon Proposals for Parsing and Summarizing Infographics

Spandan Madan, Zoya Bylinskii+7 more|arXiv (Cornell University)|Jul 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 20被引用数 13

ひとこと要約

本論文では、インフォグラフィックスの解析および要約のためのアイコン候補を生成する合成データで訓練されたオブジェクト候補ネットワークを提案する。畳み込みニューラルネットワークを合成データで訓練することで、アイコン分類において27.2%のトップ1精度と18.0%の平均平均精度（mAP）を達成し、ランダム、非透過的、空白背景のベースラインを著しく上回り、人間の性能に近づいた。

ABSTRACT

Widely used in news, business, and educational media, infographics are handcrafted to effectively communicate messages about complex and often abstract topics including `ways to conserve the environment' and `understanding the financial crisis'. Composed of stylistically and semantically diverse visual and textual elements, infographics pose new challenges for computer vision. While automatic text extraction works well on infographics, computer vision approaches trained on natural images fail to identify the stand-alone visual elements in infographics, or `icons'. To bridge this representation gap, we propose a synthetic data generation strategy: we augment background patches in infographics from our Visually29K dataset with Internet-scraped icons which we use as training data for an icon proposal mechanism. On a test set of 1K annotated infographics, icons are located with 38% precision and 34% recall (the best model trained with natural images achieves 14% precision and 7% recall). Combining our icon proposals with icon classification and text extraction, we present a multi-modal summarization application. Our application takes an infographic as input and automatically produces text tags and visual hashtags that are textually and visually representative of the infographic's topics respectively.

研究の動機と目的

• 複雑なインフォグラフィックスを解析する課題に取り組み、重要な視覚的アイコンを特定および局所化すること。
• アイコン候補モデルをトレーニングするための高価な実世界のアノテート済みデータに依存することを減らすこと。
• 視覚的にごちゃついたインフォグラフィックスレイアウトにおけるアイコン検出の精度と耐性を向上させること。
• 深層学習モデルの視覚的レイアウト理解のための合成データの有効性を検討すること。

提案手法

• レイアウト、色、アイコン配置の制御された変動を伴う合成生成インフォグラフィックスを用いて畳み込みニューラルネットワークをトレーニングする。
• さまざまな透過度のレベルをもつ空白または構造的な背景にアイコンをランダムに配置することで、多様なトレーニングサンプルを生成する。
• 領域候補ネットワーク（RPN）を用いて、合成画像内の候補となるアイコンの位置とバウンディングボックスを予測する。
• 実世界のインフォグラフィックスデータで微調整することで、実際の視覚的分布に適応させる。
• 標準的な指標（アイコン分類におけるトップ1精度と平均平均精度（mAP））を用いてモデルを評価する。
• ランダムな位置抽出、非透過的アイコン、空白背景の設定を含むベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 実際のアノテート済みデータが存在しない状況でも、合成データがインフォグラフィックス内の正確なアイコン候補を生成するモデルをトレーニングするのに効果的であるか？
• RQ2 アイコン検出におけるトップ1精度とmAPの観点から、合成データトレーニングは実データベースラインと比べてどのように差がつくか？
• RQ3 背景の複雑さとアイコンの透過度が、候補の質にどのような影響を与えるか？
• RQ4 合成データトレーニングは、モデル性能と人間レベルの性能の差をどの程度縮められるか？

主な発見

• 合成データでトレーニングされたモデルは、アイコン分類において27.2%のトップ1精度と18.0%のmAPを達成し、すべてのベースラインを著しく上回った。
• ランダムな位置抽出ベースラインは、トップ1精度16.7%、mAP14.2%にとどまり、構造的な候補生成の価値を示した。
• 非透過的背景と空白背景のベースラインは、それぞれトップ1精度15.9%と16.2%を記録し、背景デザインそのものが性能向上に寄与しないことを確認した。
• 人間の上限はトップ1精度55.4%、mAP57.2%に達しており、今後の改善の余地が著しくあることが示された。
• 提案手法は、すべてのアブレーションベースラインを上回り、合成データがアイコン候補タスクのトレーニングに有効であることを裏付けた。
• モデルの合成データにおける性能は、実際のインフォグラフィックスに対してもある程度良好に一般化され、強力な転送性を示した。