[論文レビュー] DiT: Self-supervised Pre-training for Document Image Transformer

Junlong Li, Yiheng Xu+4 more|arXiv (Cornell University)|Mar 4, 2022

Handwritten Text Recognition Techniques被引用数 9

ひとこと要約

DiTは、人間によるアノテーションなしで一般の視覚的表現を学ぶために大規模なラベルなしドキュメント画像を活用する自己教師あり事前学習ドキュメント画像Transformerを提案する。ドキュメント固有の離散的変分自己オートエンコーダ（dVAE）を用いたマスク画像モデリングの適応により、ドキュメントAIタスクの複数分野で最先端の性能を達成した。ドキュメント画像分類（トップ1正解率92.69％）、レイアウト解析（F1スコア94.9％）、テーブル検出（wF1スコア96.55％）、テキスト検出（F1スコア94.29％）の各タスクで顕著な向上を示した。

ABSTRACT

Image Transformer has recently achieved significant progress for natural image understanding, either using supervised (ViT, DeiT, etc.) or self-supervised (BEiT, MAE, etc.) pre-training techniques. In this paper, we propose extbf{DiT}, a self-supervised pre-trained extbf{D}ocument extbf{I}mage extbf{T}ransformer model using large-scale unlabeled text images for Document AI tasks, which is essential since no supervised counterparts ever exist due to the lack of human-labeled document images. We leverage DiT as the backbone network in a variety of vision-based Document AI tasks, including document image classification, document layout analysis, table detection as well as text detection for OCR. Experiment results have illustrated that the self-supervised pre-trained DiT model achieves new state-of-the-art results on these downstream tasks, e.g. document image classification (91.11 $ ightarrow$ 92.69), document layout analysis (91.0 $ ightarrow$ 94.9), table detection (94.23 $ ightarrow$ 96.55) and text detection for OCR (93.07 $ ightarrow$ 94.29). The code and pre-trained models are publicly available at \url{https://aka.ms/msdit}.

研究の動機と目的

• ドキュメントAIにおけるビジョンバックボーンの事前学習に用いる大規模なラベル付きドキュメント画像データセットの不足に対処する。
• テンプレートやフォーマットの不一致に起因するドメインシフトや実用的ドキュメントAIアプリケーションにおける性能低下を克服する。
• 多様なドキュメントレイアウトやフォーマットに一般化可能な自己教師あり事前学習フレームワークを構築する。
• 教師ありアノテーションに依存せずに、視覚ベースのドキュメントAIタスクにおける下流タスクの性能を向上させる。
• トランスフォーマーの統一アーキテクチャを介してコンピュータビジョンと自然言語処理の両方のタスクをサポートするドキュメントAIの基盤モデルを確立する。

提案手法

• 大規模なラベルなしドキュメント画像上でマスク画像モデリング（MIM）を用いてビジョンTransformerバックボーンを事前学習する。
• グレースケールのドキュメント画像上でドメイン特化型の離散的変分自己オートエンコーダ（dVAE）を学習し、DALL-Eのような汎用モデルよりも関連性の高い視覚的トークンを生成する。
• 入力ドキュメント画像のパッチをマスキングし、dVAEの視覚的トークンから元の画像を再構築するようにTransformerを学習する。
• 学習済み位置埋め込みとマルチヘッド自己注意機構を備えた標準的な画像Transformerアーキテクチャを採用し、ドキュメントレイアウト内の長距離依存関係をモデル化する。
• 標準的な分類および検出ヘッドを用いて、下流のドキュメントAIタスクで事前学習済みDiTモデルを微調整する。
• 実データに加えて、100万枚の合成ドキュメント画像で微調整することで、さらに性能を向上させ、ゼロショット一般化性能を強化する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしドキュメント画像上で自己教師あり事前学習を実施することで、人間によるアノテーションなしにドキュメントAIタスクにおける一般化性能が向上するか？
• RQ2 DALL-Eなどの汎用画像トークナイザーと比較して、ドキュメント固有のdVAEはドキュメント理解のための意味的視覚的表現をどれほど効果的に学習できるか？
• RQ3 DiTは、教師ありおよび自己教師ありのベースラインと比較して、ドキュメント画像分類、レイアウト解析、テーブル検出、テキスト検出といった下流タスクの性能をどの程度向上させるか？
• RQ4 限定的またはドメイン特化型のデータセットで事前学習されたモデルと比較して、DiTは多様なドキュメントフォーマットやレイアウトに優れた一般化性能を示すか？
• RQ5 DiTは、レイアウトベースのモデル（例：LayoutLM）を含むマルチモーダルドキュメントAIシステムの強力な基盤モデルとして機能できるか？

主な発見

• RVL-CDIPにおけるドキュメント画像分類タスクで、トップ1正解率92.69％という新たな最先端性能を達成し、以前の手法の91.11％から向上した。
• PubLayNetにおけるレイアウト解析タスクで、F1スコア94.9％を達成し、以前の最先端性能91.0％を大きく上回った。
• ICDAR 2019 cTDaRにおけるテーブル検出タスクで、DiT-LはwF1スコア96.55％を達成し、以前の最高記録94.23％を2.3ポイント以上上回った。
• FUNSDにおけるテキスト検出タスクで、DiT-LはIoU@0.5のF1スコア94.29％を達成し、商用OCRエンジンのベースラインおよびすべてのViTおよびCNNバックボーンを上回った。
• 100万枚の合成ドキュメント画像データセットでDiTを微調整することで、FUNSDでのF1スコアが94.29％、テーブル検出ではwF1スコアが96.55％に向上した。
• モデルは特に低リソース設定（例：cTDaRのアーカイブサブセット）において優れた少サンプル一般化性能を示した。dVAEの色制限にもかかわらず、大多数のベースラインを上回った。