[論文レビュー] DocAligner: Annotating Real-world Photographic Document Images by Simply Taking Pictures

Jiaxin Zhang, Bangdong Chen+4 more|arXiv (Cornell University)|Jun 9, 2023

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

DocAligner は、実世界の写真撮影による文書画像のアノテーションを自動化する。写真と綺麗な文書画像の間で密な対応関係を確立することで、既存のアノテーションを自動的に転送し、非剛性のアライメント、階層的相関、反復的精錬を用いて新しいラベルを生成する。手作業によるラベル付けの時間を最低30倍短縮し、レイアウト解析、照明補正、幾何的正規化のタスクで最先端の性能を達成する。

ABSTRACT

Recently, there has been a growing interest in research concerning document image analysis and recognition in photographic scenarios. However, the lack of labeled datasets for this emerging challenge poses a significant obstacle, as manual annotation can be time-consuming and impractical. To tackle this issue, we present DocAligner, a novel method that streamlines the manual annotation process to a simple step of taking pictures. DocAligner achieves this by establishing dense correspondence between photographic document images and their clean counterparts. It enables the automatic transfer of existing annotations in clean document images to photographic ones and helps to automatically acquire labels that are unavailable through manual labeling. Considering the distinctive characteristics of document images, DocAligner incorporates several innovative features. First, we propose a non-rigid pre-alignment technique based on the document's edges, which effectively eliminates interference caused by significant global shifts and repetitive patterns present in document images. Second, to handle large shifts and ensure high accuracy, we introduce a hierarchical aligning approach that combines global and local correlation layers. Furthermore, considering the importance of fine-grained elements in document images, we present a details recurrent refinement module to enhance the output in a high-resolution space. To train DocAligner, we construct a synthetic dataset and introduce a self-supervised learning approach to enhance its robustness for real-world data. Through extensive experiments, we demonstrate the effectiveness of DocAligner and the acquired dataset. Datasets and codes will be publicly available.

研究の動機と目的

• 実世界のシナリオにおけるドキュメントAIの進展を妨げる、ラベル付きの写真撮影による文書画像データセットの著しい不足に対処すること。
• 画像間の対応関係を用いて、コストと時間がかかる手作業によるラベル付けの必要性を排除し、自動ラベル生成を可能にすること。
• 非剛性変形、透視的シフト、繰り返しパターンの影響を受けるにもかかわらず、写真と綺麗な文書画像の間で堅牢な密な対応関係を確立する手法を開発すること。
• 一般化性能を向上させるために、高品質な合成データセットと自己教師付き学習戦略を構築すること。
• レイアウト解析、照明補正、幾何的正規化といった複数のドキュメントAIタスクにおける本手法の実用的有効性を実証すること。

提案手法

• 非剛性の事前アライメントとして、薄板スプライン（TPS）を用いて、文書画像内のグローバルシフトや繰り返しパターンに対処し、初期アライメントの堅牢性を向上させる。
• グローバルおよびローカルの相関レイヤーを統合した階層的アライメントモジュールを導入し、粗いから細かい流れの予測を段階的に実行することで、高精度な密な対応関係を達成する。
• メモリ効率の良い ConvGRU を用いた詳細の反復的精錬モジュールを設計し、高解像度の流れ出力を強化することで、細粒度の文字レベルの詳細を保持する。
• PDFベースの綺麗な画像にランダムな流れを適用し、実際の影映り込みマップで劣化させることで、写真の歪みを模擬する合成データセットを構築する。
• 訓練中に、真の流れアノテーションが不要な自己教師付き学習アプローチを採用し、実世界の写真データへの一般化性能を向上させる。
• 幾何的正規化などの下流タスクに、変換器ベースのアーキテクチャを用い、DocAligner を通じて取得した実データで訓練することで、最先端の性能を達成する。

Figure 1 : Automatic annotation for real-world photographic document images via DocAligner. All you need to do is take pictures.

実験結果

リサーチクエスチョン

• RQ1 非剛性変形や複雑なパターンの影響を受けても、綺麗な文書画像と写真の文書画像の間で、密な対応関係を効果的に確立できるか？
• RQ2 手作業によるラベル付けを完全に排除し、印刷済みの文書を単に写真に撮ることでのみ自動ラベル付けが可能になるか？
• RQ3 提案された非剛性事前アライメントは、ホモジニアグラフィーなどの剛性変換よりも、多様な文書歪みに対処する上で優れているか？
• RQ4 階層的アライメントと反復的精錬モジュールは、高解像度の文書画像における流れの精度と詳細の保持を顕著に向上させるか？
• RQ5 合成データに対する自己教師付き学習戦略と実データの取得を組み合わせることで、実世界のドキュメントAIタスクにおける優れた性能が得られるか？

主な発見

• DocAligner を用いることで、レイアウト解析データのラベル付けにかかる手作業の時間を最低でも30倍短縮でき、ラベル付けコストを顕著に削減する。
• 非剛性事前アライメントと詳細の反復的精錬を併用した場合、DocUNet ベンチマークで MS-SSIM 0.8058、AD 0.0486 を達成し、アブレーションバージョンを上回る性能を示した。
• DocAligner を通じて取得した実データで訓練した変換器ベースの幾何的正規化モデルは、MS-SSIM 0.4897、AD 0.4226 を達成し、より大きな合成データセットで訓練されたモデルを上回った。
• 合成データセット上で自己教師付き学習を実施することで、一般化性能が向上し、実データに対する強力な性能が、限られた実アノテーションでも達成された。
• アブレーションスタディにより、非剛性事前アライメントと詳細の反復的精錬の両方が不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。
• 本手法により、綺麗な文書画像から写真の文書画像への自動ラベル転送が可能となり、レイアウト解析や表認識などのタスクにおける迅速なデータ作成が実現された。

Figure 2 : Overall architecture of DocAligner. Considering photographic $I_{s}$ and clean $I_{t}$ , DocAligner aims to densely correlate each pixel in $I_{t}$ with $I_{s}$ .