[論文レビュー] Reverse-Engineering Information Presentations: Recovering Hierarchical Grouping from Layouts of Visual Elements

Danqing Shi, Weiwei Cui+3 more|arXiv (Cornell University)|Jan 13, 2022

Data Visualization and Analytics被引用数 4

ひとこと要約

本稿では、情報提示のビジュアルレイアウトから階層的グルーピングを自動で回復するためのディープラーニングベースの手法を提案する。変換器モデルを用いて視覚的要素同士の関連性を予測し、ボトムアップ手法でグルーピングを構築する。23,072枚のスライドから構成されるデータセット上で評価された結果、グループ化の正確性において人間並みの性能を達成し、デザイン解析や自動化のためのスケーラブルなソリューションを提供する。

ABSTRACT

Visual elements in an information presentation are often spatially and semantically grouped hierarchically for effective message delivery. Studying the hierarchical grouping information can help researchers and designers better explore layout structures and understand design demographics. However, recovering hierarchical grouping is challenging due to a large number of possibilities for compositing visual elements into a single-page design. This paper introduces an automatic approach that takes the layout of visual elements as input and returns the hierarchical grouping as output. To understand information presentations, we first contribute a dataset of 23,072 information presentations with diverse layouts to the community. Next, we propose our technique with a Transformer-based model to predict relatedness between visual elements and a bottom-up algorithm to produce the hierarchical grouping. Finally, we evaluate our technique through a technical experiment and a user study with 30 designers. The results show that the proposed technique is promising.

研究の動機と目的

• 明示的なグルーピングのアノテーションが存在しない情報提示において、隠れた階層的グルーピングを回復するという課題に対処すること。
• 手動で作成されたルールに依存せず、空間的レイアウトから意味的なグルーピングを推論する自動的で学習ベースの手法を開発すること。
• 研究分野におけるレイアウト理解とデザイン解析のための、23,072枚の洗練された情報提示から成る大規模かつ多様なデータセットを構築すること。
• 技術的ベンチマークとプロフェッショナルデザイナーを対象としたユーザースタディを通じて、提案手法の実用的有用性と正確性を評価すること。
• デザインアシスタンス、アニメーション、情報抽出などの後続応用を可能にするために、構造的なレイアウトグルーピングを提供すること。

提案手法

• 公共のソースから収集した23,072枚の情報提示のデータセットを構築し、主にPowerPoint形式で提供されたものから視覚的要素の空間的および意味的特徴を抽出した。
• 空間的レイアウトの文脈と学習された表現を用いて、視覚的要素間の関連性を予測する変換器ベースのモデルを訓練した。
• 幾何的関係（近接性やアライメントなど）をよりよく捉えるために、空間符号化をモデルに統合した。
• 予測された関連性と空間的距離を用いて、反復的に要素を統合することで階層的グルーピングを構築するボトムアップのグラフベースのアルゴリズムを採用した。
• グルーピングプロセスは個々の要素から開始され、関連性スコアと空間的近接性に基づいて段階的に高次のグルーピングへと統合される。
• 本手法は複数のグルーピング粒度をサポートしており、階層の詳細さに応じて調整可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的な意味的コンテンツがなく、レイアウトのみから、ディープラーニングモデルが視覚的要素の関連性を効果的に予測できるか。
• RQ2 自動的でエンドツーエンドの手法が、プロフェッショナルデザイナーと比較して、情報提示における階層的グルーピングをどれほど正確に回復できるか。
• RQ3 提案手法が、多様なデザインスタイルやレイアウト構造にどれほど一般化可能か。
• RQ4 モデルの失敗モードは何か。特に、複雑な接続部や意味的コンポジション（例：「コンピュータ」と「電話」が別個のエンティティとして扱われる場合）とどのように関連しているか。
• RQ5 本手法が、既存のプレゼンテーションにおけるノイズや一貫性のないグルーピングを修正する実用的なデザインアシスタンスとして機能できるか。

主な発見

• 30名のプロフェッショナルデザイナーを対象としたユーザースタディにおいて、提案手法は人間のデザイナーと同等の性能を達成し、実用的妥当性が強く裏付けられた。
• 変換器アーキテクチャに空間符号化を組み込むことで、モデルの性能が顕著に向上し、空間的推論能力が向上した。
• 失敗事例の主な原因は、複数の形状から成る複雑な接続部や意味的コンポジション（例：「コンピュータ」と「電話」が別個のエンティティとして扱われる場合）の正しくないセグメンテーションに起因していた。
• 23,072枚のスライドから構成される大規模なデータセットは、将来のレイアウト理解、デザイン分類、生成に関する研究の貴重なリソースである。
• 本手法は、複雑な配置や混合視覚的要素を含む多様なレイアウトにおいても、階層的グルーピングを効果的に回復できた。
• 既存のプレゼンテーションにおけるグルーピングの自動修復や再構築に本手法を活用でき、特に手動によるグルーピングに一貫性が欠ける場合に有効である。