[論文レビュー] Rethinking Table Parsing using Graph Neural Networks

Shah Rukh Qasim, Hassan Mahmood+1 more|arXiv (Cornell University)|May 31, 2019

Handwritten Text Recognition Techniques被引用数 12

ひとこと要約

本稿では、視覚的特徴抽出に畳み込みニューラルネットワーク（CNN）を組み合わせ、テーブル内の構造的関係をモデル化するためのグラフニューラルネットワーク（GNN）ベースのアーキテクチャを提案する。この手法はベースラインを著しく上回り、ドキュメント構造解析におけるデータ不足の問題を解決するための大規模な合成データセットを導入している。

ABSTRACT

Document structure analysis, such as zone segmentation and table parsing, is a complex problem in document processing and is an active area of research. The recent success of deep learning in solving various computer vision and machine learning problems has not been reflected in document structure analysis since conventional neural networks are not well suited to the input structure of the problem. In this paper, we propose an architecture based on graph networks as a better alternative to standard neural networks for table parsing. We argue that graph networks are a more natural choice for these problems, and explore two gradient-based graph neural networks. Our proposed architecture combines the benefits of convolutional neural networks for visual feature extraction and graph networks for dealing with the problem structure. We empirically demonstrate that our method outperforms the baseline by a significant margin. In addition, we identify the lack of large scale datasets as a major hindrance for deep learning research for structure analysis, and present a new large scale synthetic dataset for the problem of table parsing. Finally, we open-source our implementation of dataset generation and the training framework of our graph networks to promote reproducible research in this direction.

研究の動機と目的

• 従来のニューラルネットワークが文書テーブルの構造的複雑性をモデル化する点で抱える制限を解消すること。
• テーブル構造内の関係的依存性をより効果的に捉えることができるグラフニューラルネットワークアーキテクチャを提案すること。
• CNNからの視覚的特徴とGNNによる構造的推論を統合することで、テーブルパースィングのパフォーマンスを向上させること。
• ドキュメント構造解析分野における大規模なアノテート済みデータセットの不足を補うために、新規の合成データセットを構築すること。
• データセット生成パイプラインとトレーニングフレームワークをオープンソース化することで、再現可能性の高い研究を可能にすること。

提案手法

• 本手法は、各セルをグラフ内のノードとして扱い、セル間の構造的関係をグラフニューラルネットワークでモデル化する。
• 視覚的特徴は、テーブル画像から畳み込みニューラルネットワーク（CNN）を用いて抽出され、グラフ内のノード特徴として使用される。
• GNNは複数の層を経てグラフを処理し、学習可能なメッセージパッシング機構を通じて隣接ノード情報に基づいてノード表現を更新する。
• グラフ構造学習と予測パフォーマンスの最適化を図るため、2種類の勾配ベースのGNN変種を検討した。
• アーキテクチャはエンドツーエンドで訓練され、テーブル内のセル境界とコンテンツセグメンテーションを予測する。
• 実際の複雑さを模倣するため、多様なレイアウトと構造を持つテーブルのルールベースのレンダリングを用いて大規模な合成データセットを生成した。

実験結果

リサーチクエスチョン

• RQ1 従来のニューラルネットワークと比較して、グラフニューラルネットワークはテーブルパースィングにおける構造的関係を効果的にモデル化できるか？
• RQ2 CNNによる視覚的特徴抽出とGNNによる構造的推論を統合することで、パースィング精度がどのように向上するか？
• RQ3 大規模な合成データセットの可用性が、テーブルパースィングにおけるモデルパフォーマンスにどの程度寄与するか？
• RQ4 提案されたGNNアーキテクチャは、多様なテーブルレイアウトや構造に一般化可能か？
• RQ5 本手法は、下流のドキュメント構造解析タスクにどのような影響を及ぼすか？

主な発見

• 提案されたGNNベースの手法は、ベースラインモデルと比較して、テーブルパースィングの精度を著しく上回った。
• CNNによる視覚的特徴とGNNによる構造的推論の統合により、一般化性能とロバストネスが向上した。
• 大規模な合成データセットのおかげで、より良いトレーニングと評価が可能となり、分野におけるデータ不足の問題が緩和された。
• オープンソース化されたデータセット生成パイプラインとトレーニングフレームワークにより、再現可能性が確保され、ドキュメント構造解析分野におけるさらなる研究が促進された。
• 実証的結果から、標準的なニューラルネットワークよりも、GNNがテーブル構造をモデル化する上でより自然で効果的であることが示された。
• 限られた実世界のアノテート済みデータでも、本手法は優れたパフォーマンスを示し、この分野における合成データの価値が浮き彫りになった。