[論文レビュー] Geometric Rectification of Creased Document Images based on Isometric Mapping

Dong Luo, Pengbo Bo|arXiv (Cornell University)|Dec 16, 2022

Handwritten Text Recognition Techniques被引用数 5

ひとこと要約

本稿では、可展3次元表面とその平面展開をモデル化するための計算的等長写像を用いて、折り目や折り畳みのあるドキュメント画像の幾何的補正を新たな手法で提案する。可展性の制約と、直線などの検出可能なテクスチャ的特徴を統合することで、分離された3次元再構築と展開のステップを必要とせず、複雑な歪みに対しても優れた補正品質を達成する。

ABSTRACT

Geometric rectification of images of distorted documents finds wide applications in document digitization and Optical Character Recognition (OCR). Although smoothly curved deformations have been widely investigated by many works, the most challenging distortions, e.g. complex creases and large foldings, have not been studied in particular. The performance of existing approaches, when applied to largely creased or folded documents, is far from satisfying, leaving substantial room for improvement. To tackle this task, knowledge about document rectification should be incorporated into the computation, among which the developability of 3D document models and particular textural features in the images, such as straight lines, are the most essential ones. For this purpose, we propose a general framework of document image rectification in which a computational isometric mapping model is utilized for expressing a 3D document model and its flattening in the plane. Based on this framework, both model developability and textural features are considered in the computation. The experiments and comparisons to the state-of-the-art approaches demonstrated the effectiveness and outstanding performance of the proposed method. Our method is also flexible in that the rectification results can be enhanced by any other methods that extract high-quality feature lines in the images.

研究の動機と目的

• 複雑な折り目や大きな折り畳みを有するドキュメントにおける幾何的補正の課題に取り組むこと。これは、従来の手法では十分に取り扱われていない。
• ドキュメントの内在的幾何的性質である可展性を補正プロセスに組み込むことで、モデルの精度を向上させること。
• テキストベースラインや直線などのテクスチャ的特徴を直接制約として活用し、補正品質を向上させること。
• 3次元ドキュメントモデルとその2次元展開を同時に計算する統合フレームワークを構築し、分離されたステップによる誤差蓄積を回避すること。
• 現実の画像撮影状況で一般的な、不完全または欠落したドキュメント境界に対しても頑健であることを保証すること。

提案手法

• 3次元ドキュメント表面とその2次元平面展開を、単一の最適化プロセスとして表現するため、計算的等長写像モデルを用いる。
• 複雑な折り目や折り畳みを持つドキュメント表面をモデル化するため、四角形メッシュ（クアッドベースメッシュ）を柔軟な表現として採用する。
• 3次元メッシュに可展性制約を課し、伸縮や破損なしに平面に展開可能であることを保証する。
• 検出された特徴線（例：テキストベースライン、直線エッジ）を最適化における幾何的制約として統合し、正確な補正を促進する。
• ピンホールカメラモデルと等長写像を組み合わせ、3次元表面点を2次元画像座標に写像するが、内在的な幾何を保持する。
• 境界制約と特徴線制約の両方を用いた形状最適化を実施し、初期境界データによって収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 等長写像は、複雑な幾何を持つ高度に折り目が入ったドキュメント表面のモデル化と補正に効果的に適用可能か？
• RQ2 3次元モデルに可展性を強制することで、非可展モデルと比較してドキュメント画像補正の品質がどの程度向上するか？
• RQ3 完全な境界情報が欠落している状況下で、検出されたテクスチャ的特徴（例：直線）が補正精度にどの程度寄与するか？
• RQ4 現実の状況で一般的な完全でないドキュメント境界に依存せずに、本手法は高品質な補正を達成できるか？
• RQ5 特徴線制約の統合は、補正パイプラインにおける最適化の速度と収束にどのような影響を及えるか？

主な発見

• 本手法は、明示的な特徴線制約がなくても、最先端のアプローチと比較して、複雑な折り目ドキュメントにおいて優れた補正品質を達成する。
• 高品質な特徴線が利用可能な場合、本手法は補正精度を顕著に向上させ、このような特徴を制約として統合する有効性を示している。
• 境界制約が含まれていると最適化がより速く収束し、追加される特徴線が増えるほど反復回数が減少する。
• 本手法は不完全な境界条件に対しても頑健である：境界の一部が欠落している場合でも正確な結果を生成するが、完全境界を必要とする手法とは対照的である。
• 深層学習ベースのベースライン（DewarpNet や DocTr）は、境界が不完全なケースで著しい歪みやコンテンツ損失を示す一方、本手法は構造的整合性を維持する。
• 本手法の柔軟性のおかげで、任意の特徴検出パイプラインと統合可能であり、検出された特徴線の品質と量に比例して補正品質が向上する。