[論文レビュー] Layout Generation and Completion with Self-attention.

Kamal Gupta, Alessandro Achille+4 more|arXiv (Cornell University)|Jun 25, 2020

Handwritten Text Recognition Techniques参考文献 31被引用数 11

ひとこと要約

この論文では、画像、文書、モバイルアプリなど多様なドメインにおいて、グラフィカルな要素間の文脈的関係をモデル化することで、レイアウトの生成と完成を実現する自己注意機構に基づくフレームワーク、LayoutTransformerを提案する。ゼロショットレイアウト生成、解釈可能な注意可視化、カテゴリおよび要素のスケーラビリティ、意味的なカテゴリ埋め込みの学習を可能とし、COCO、PubLayNet、RICOデータセットにおいて先行手法を上回る性能を発揮する。

ABSTRACT

We address the problem of layout generation for diverse domains such as images, documents, and mobile applications. A layout is a set of graphical elements, belonging to one or more categories, placed together in a meaningful way. Generating a new layout or extending an existing layout requires understanding the relationships between these graphical elements. To do this, we propose a novel framework, LayoutTransformer, that leverages a self-attention based approach to learn contextual relationships between layout elements and generate layouts in a given domain. The proposed model improves upon the state-of-the-art approaches in layout generation in four ways. First, our model can generate a new layout either from an empty set or add more elements to a partial layout starting from an initial set of elements. Second, as the approach is attention-based, we can visualize which previous elements the model is attending to predict the next element, thereby providing an interpretable sequence of layout elements. Third, our model can easily scale to support both a large number of element categories and a large number of elements per layout. Finally, the model also produces an embedding for various element categories, which can be used to explore the relationships between the categories. We demonstrate with experiments that our model can produce meaningful layouts in diverse settings such as object bounding boxes in scenes (COCO bounding boxes), documents (PubLayNet), and mobile applications (RICO dataset).

研究の動機と目的

• 画像、文書、モバイルアプリなど多様なドメインにおけるレイアウトの生成と完成の課題に対処すること。
• 深層学習的手法を用いて、レイアウト内のグラフィカルな要素間の文脈的関係をモデル化すること。
• 初期要素セットに条件づけられた、無条件のレイアウト生成と部分的レイアウトの完成を両立させること。
• レイアウト要素間の注意メカニズムを可視化することで、解釈可能性を提供すること。
• 多数の要素カテゴリとレイアウトあたりの要素数を効果的にサポートしながら、意味的なカテゴリ埋め込みを学習すること。

提案手法

• フレームワークは、自己注意機構を用いたトランスフォーマーに基づくアーキテクチャを採用し、レイアウト要素間の依存関係をモデル化する。
• 入力要素は学習可能なトークン埋め込みで表現され、空間的順序を保持するために位置エンコーディングが適用される。
• モデルは自己回帰的にレイアウトを生成し、以前の要素からの注目された文脈に基づいて1つずつ要素を予測する。
• 初期要素セットに条件づけた、完全なレイアウトの生成と部分レイアウトの完成の両方をサポートする。
• 訓練中にカテゴリ固有の埋め込みを学習することで、カテゴリ間の意味的関係の探索が可能になる。
• 注目重みを可視化することで、各新しい要素の予測にどの過去の要素が影響を与えているかを解釈できる。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのモデルは、オブジェクト検出、ドキュメントレイアウト、モバイルUIデザインなど、複数のドメインにおける多様なレイアウトの生成に効果的に対応できるか？
• RQ2 既存の要素に注目することで、次に論理的に追加されるべき要素を予測し、部分レイアウトをどれほどうまく完成できるか？
• RQ3 注目メカニズムが、モデルのレイアウト生成意思決定に関してどの程度解釈可能なインサイトを提供できるか？
• RQ4 多数の要素カテゴリや高密度の要素数を伴うレイアウトに対しても、モデルのスケーラビリティはどの程度確保できるか？
• RQ5 学習されたカテゴリ埋め込みから、要素カテゴリ間のどのような意味的関係を発見できるか？

主な発見

• LayoutTransformerは、COCO、PubLayNet、RICOなど複数のベンチマークデータセットにおいて、レイアウト生成分野で最先端の性能を達成した。
• モデルは空の状態から一貫性のあるレイアウトを生成し、部分レイアウトに対しても高い構造的整合性を維持して完成させることができた。
• 注目可視化により、意味的に関連する過去の要素に注目している明確な注目パターンが明らかになった。
• モデルは、性能の低下を伴わずに多数の要素カテゴリと高密度の要素数を効果的にスケーリングできる。
• 学習されたカテゴリ埋め込みは意味的関係を捉えており、要素タイプ間の意味的なクラスタリングや類似度分析が可能になった。
• フレームワークは多様なレイアウトドメインにわたる強力な一般化性能を示しており、ドメインシフトに対しても頑健であることがわかった。