[論文レビュー] PP-StructureV2: A Stronger Document Analysis System

Chenxia Li, Ruoyu Guo+7 more|arXiv (Cornell University)|Oct 11, 2022

Handwritten Text Recognition Techniques被引用数 13

ひとこと要約

PP-StructureV2 は、最適化されたモデルと新規モジュールを用いてレイアウト分析、テーブル認識、キーデータ抽出を向上させた強化されたドキュメント解析システムです。同等の mAP を維持しながら 11 倍高速化された推論を達成し、テーブル認識精度が 6% 向上、関係抽出性能が 9.1% 向上しています。これは、軽量化、知識蒸留、視覚特徴に依存しない LayoutXLM の変種を用いたものです。

ABSTRACT

A large amount of document data exists in unstructured form such as raw images without any text information. Designing a practical document image analysis system is a meaningful but challenging task. In previous work, we proposed an intelligent document analysis system PP-Structure. In order to further upgrade the function and performance of PP-Structure, we propose PP-StructureV2 in this work, which contains two subsystems: Layout Information Extraction and Key Information Extraction. Firstly, we integrate Image Direction Correction module and Layout Restoration module to enhance the functionality of the system. Secondly, 8 practical strategies are utilized in PP-StructureV2 for better performance. For Layout Analysis model, we introduce ultra light-weight detector PP-PicoDet and knowledge distillation algorithm FGD for model lightweighting, which increased the inference speed by 11 times with comparable mAP. For Table Recognition model, we utilize PP-LCNet, CSP-PAN and SLAHead to optimize the backbone module, feature fusion module and decoding module, respectively, which improved the table structure accuracy by 6\% with comparable inference speed. For Key Information Extraction model, we introduce VI-LayoutXLM which is a visual-feature independent LayoutXLM architecture, TB-YX sorting algorithm and U-DML knowledge distillation algorithm, which brought 2.8\% and 9.1\% improvement respectively on the Hmean of Semantic Entity Recognition and Relation Extraction tasks. All the above mentioned models and code are open-sourced in the GitHub repository PaddleOCR.

研究の動機と目的

• CPU やモバイルデバイスへの実用的デプロイメントを支援する、より強固で効率的なドキュメント解析システムの開発。
• PP-Structure の限界、特に CPU 効率の悪さや回転・複雑レイアウトを含むドキュメントへの対応限界の解消。
• 推論速度を犠牲にせずに、レイアウト分析、テーブル認識、キーデータ抽出の性能向上。
• エンドツーエンドで編集可能なドキュメント出力を実現するための画像回転補正とレイアウト回復の統合。
• 知識蒸留と軽量アーキテクチャ設計による、モデルの効率性と精度の向上。

提案手法

• 分析前に回転したドキュメント画像を処理できる「画像回転補正モジュール」を導入。
• 分析後に元のレイアウトを編集可能な Word ファイルに再構築する「レイアウト回復モジュール」を採用。
• PP-PicoDet（YOLOに基づく軽量検出器）と FGD 知識蒸留を組み合わせ、レイアウト分析を 11 倍高速化しながら同等の mAP を達成。
• PP-LCNet（バックボーン）、CSP-PAN（特徴量統合）、SLAHead（構造に配慮したデコード）を最適化し、テーブル認識精度を 6% 向上。
• 視覚特徴に依存しない LayoutXLM の変種「VI-LayoutXLM」を提案し、キーデータ抽出における汎化性能と推論速度を向上。
• 読み順整列のための TB-YX ソーティングと U-DML 知識蒸留を適用し、SER と RE の性能をさらに向上。

実験結果

リサーチクエスチョン

• RQ1 精度を維持または向上させながら、ドキュメント解析システムを著しく高速化する方法は何か？
• RQ2 モデルの軽量化と知識蒸留を用いることで、レイアウト分析、テーブル認識、キーデータ抽出の分野でどの程度の改善が達成できるか？
• RQ3 視覚特徴に依存しない LayoutXLM の変種は、キーデータ抽出タスクにおける性能と推論速度を向上させることができるか？
• RQ4 新規モジュール（画像回転補正モジュールとレイアウト回復モジュール）は、システムの頑健性と使いやすさをどの程度向上させるか？
• RQ5 SLAHead や TB-YX ソーティングといった最適化されたコンponents は、ドキュメント理解における構造的正確性と関係抽出にどの程度寄与するか？

主な発見

• PP-PicoDet と FGD 知識蒸留を用いることで、PP-StructureV2 はレイアウト分析において前回バージョンと同等の mAP を維持しながら 11 倍高速化された推論速度を達成。
• PP-LCNet、CSP-PAN、SLAHead を用いたテーブル認識精度は、PubTabNet で 6% 向上し、推論時間は同等のまま。
• VI-LayoutXLM モデルは、LayoutXLM よりも SER の Hmean が 0.96% 高く、XFUND-zh における RE Hmean は 9.1% 向上。モデルサイズは削減され、推論速度も向上。
• TB-YX ソーティングアルゴリズムにより、XFUND-zh における RE Hmean は 71.87% から 78.81% に上昇し、KIE における読み順の重要性を示した。
• U-DML 知識蒸留により、XFUND-zh における RE Hmean は 83.92% に上昇し、速度の低下は最小限。優れた汎化性能と効率性を示した。
• システム全体として、レイアウト分析、テーブル認識、キーデータ抽出のすべてのサブタスクで PP-Structure を上回り、CPU やモバイルデバイスへのデプロイに適した性能を発揮。