[論文レビュー] Learning style similarity for searching infographics

Babak Saleh, Mira Dontcheva+2 more|arXiv (Cornell University)|Jan 1, 2015

Image Retrieval and Classification Techniques参考文献 18被引用数 17

ひとこと要約

本稿では、クラウドソーシングによる知覚データを用いて、色ヒストグラムと勾配のヒストグラム（HoG）特徴量を組み合わせることで視覚的スタイルを効果的に捉える、機械学習に基づくインフォグラフィックス用スタイル類似度メトリクスを提案する。この手法は、画像検索タスクにおいて優れた性能を示しており、視覚的特徴量の統合が複雑なグラフィックデザインにおけるスタイル類似度測定を向上させることを示している。

ABSTRACT

Infographics are complex graphic designs integrating text, images, charts and sketches. Despite the increasing popularity of infographics and the rapid growth of online design portfolios, little research investigates how we can take advantage of these design resources. In this paper we present a method for measuring the style similarity between infographics. Based on human perception data collected from crowdsourced experiments, we use computer vision and machine learning algorithms to learn a style similarity metric for infographic designs. We evaluate different visual features and learning algorithms and find that a combination of color histograms and Histograms-of-Gradients (HoG) features is most effective in characterizing the style of infographics. We demonstrate our similarity metric on a preliminary image retrieval test.

研究の動機と目的

• オンラインのデザインポートフォリオを活用したインフォグラフィックスのスタイル分析に関する研究の不足に対処すること。
• 計算効率が良く、知覚的に正確なインフォグラフィックス用スタイル類似度メトリクスを開発すること。
• 人間の知覚に基づくスタイルをモデル化するための最も効果的な視覚的特徴量と学習アルゴリズムを特定すること。
• 提案されたメトリクスを実世界の画像検索タスクで評価すること。

提案手法

• クラウドソーシング実験を通じて、インフォグラフィックスのスタイル類似度に関する人間の知覚データを収集する。
• インフォグラフィックス画像から色ヒストグラムおよび勾配のヒストグラム（HoG）を含む視覚的特徴量を抽出する。
• 人間がラベル付けした類似度判断に基づいて、スタイル類似度メトリクスを学習する機械学習モデルを訓練する。
• 特徴量の組み合わせとアルゴリズムの比較を最適化することで、検索性能を最大化する。
• 学習された類似度メトリクスを用いて、初期段階の画像検索タスクで最終モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 どの視覚的特徴量がインフォグラフィックス間のスタイル的差を最もよく捉えているか？
• RQ2 人間の知覚データからスタイル類似度メトリクスを学習する際、異なる機械学習アルゴリズムはどのように性能を発揮するか？
• RQ3 学習された類似度メトリクスは、インフォグラフィックス検索タスクの精度を向上させることができるか？
• RQ4 色とテクスチャの特徴量は、スタイル類似度知覚に対してそれぞれどの程度の寄与をしているか？

主な発見

• 色ヒストグラムと勾配のヒストグラム（HoG）特徴量の組み合わせが、スタイル類似度のモデル化において最高のパフォーマンスを示した。
• 色とテクスチャの特徴量の統合は、個々の特徴量タイプのみを用いたモデルを著しく上回った。
• 学習された類似度メトリクスは、初期段階の画像検索タスクにおいて顕著な改善を示した。
• 人間の知覚データは、スタイル比較における視覚的直感と整合するメトリクスを訓練するために不可欠であった。