[論文レビュー] DocScanner: Robust Document Image Rectification with Progressive Learning

Hao Feng, Wengang Zhou+3 more|arXiv (Cornell University)|Oct 28, 2021

Handwritten Text Recognition Techniques参考文献 67被引用数 15

ひとこと要約

DocScannerは、反復的に1枚の補正済み画像推定値を改善する再帰的アーキテクチャを用いた段階的学習フレームワークを提案する。この手法は、OCR精度、画像類似度、および新規の歪み評価指標において最先端の性能を達成しながらも、高い効率性を維持している。幾何的正則化とサークル整合性損失を活用することで、耐障害性と収束性が向上する。

ABSTRACT

Compared with flatbed scanners, portable smartphones provide more convenience for physical document digitization. However, such digitized documents are often distorted due to uncontrolled physical deformations, camera positions, and illumination variations. To this end, we present DocScanner, a novel framework for document image rectification. Different from existing solutions, DocScanner addresses this issue by introducing a progressive learning mechanism. Specifically, DocScanner maintains a single estimate of the rectified image, which is progressively corrected with a recurrent architecture. The iterative refinements make DocScanner converge to a robust and superior rectification performance, while the lightweight recurrent architecture ensures the running efficiency. To further improve the rectification quality, based on the geometric priori between the distorted and the rectified images, a geometric regularization is introduced during training to further improve the performance. Extensive experiments are conducted on the Doc3D dataset and the DocUNet Benchmark dataset, and the quantitative and qualitative evaluation results verify the effectiveness of DocScanner, which outperforms previous methods on OCR accuracy, image similarity, and our proposed distortion metric by a considerable margin. Furthermore, our DocScanner shows superior efficiency in runtime latency and model size.

研究の動機と目的

• スマートフォンで撮影されたドキュメント画像に生じるカメラアングル、照明、用紙の変形による幾何的歪みの問題に対処すること。
• 大規模な変形や高い計算コストに苦しむ既存のディーブラーニング手法の限界を克服すること。
• 実世界のモバイルデバイスへの実装に適した、軽量で効率的かつ耐障害性のある補正フレームワークを開発すること。
• 段階的反復的精錬と幾何的事前知識を活用して、補正品質を向上させること。
• 補正済み画像におけるグローバル幾何的歪みを評価するための新規歪み指標（Li-D）を導入すること。

提案手法

• 複数のイテレーションにわたり、1枚の補正済み画像推定値を段階的に精錬する再帰的U-Netに類似したアーキテクチャを採用する。
• 双線形補間よりも細かいスケールの変形をよりよく回復できるように、流れ予測用の学習可能アップサンプリングモジュールを導入する。
• 情報の統合と空間的整合性の維持を目的として、ConvGRUベースのアップデータユニットを実装する。
• 補正済み画像における直線が直線のまま保たれるという事前知識に基づき、トレーニング中に幾何的正則化を適用する。
• 行および列に沿った直線制約を強制するために、サークル整合性損失を導入し、グローバル歪みを低減する。
• 効率性を維持するため、イテレーション間で重みを共有する。アブレーション実験では、重みを共有しない場合がわずかに性能向上を示すが、パrameter数が増加する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アーキテクチャにおける反復的・段階的精錬は、単一段階のディーブラーニング手法と比較して、ドキュメント画像補正性能を向上させ得るか？
• RQ2 直線制約に基づく幾何的正則化は、補正済み画像におけるグローバル歪み低減にどのように寄与するか？
• RQ3 サークル整合性損失は、幾何的忠実度の観点から、補正済みドキュメント画像の品質にどの程度向上効果をもたらすか？
• RQ4 提案手法は、補正精度と推論効率性、モデルサイズのバランスをどのようにとるか？
• RQ5 明示的にこのようなケースでトレーニングしていないにもかかわらず、不完全または欠落したドキュメント境界を有する画像にも一般化可能か？

主な発見

• DocScannerは、DocUNet BenchmarkおよびDoc3Dデータセットにおいて、OCR精度、画像類似度、および提案されたLi-D歪み指標において、先行する最先端手法を上回った。
• 収束後、DocScanner-Bは約4イテレーションでDewarpNetを、約8イテレーションでDocGeoNetを上回った。
• 段階的精錬プロセスは200イテレーションまで安定した収束を示し、過学習や発散に対する耐障害性を示した。
• 流れ予測用に学習可能なアップサンプリングモジュールを用いることで、双線形補間よりも優れた性能が得られ、特に微小な変形の回復において顕著だった。
• サークル整合性損失は、DocUNet Benchmarkの全指標において顕著な性能向上をもたらし、グローバル歪み低減の有効性を確認した。
• 不完全または欠落したドキュメント境界が存在する画像に対しても、DocScannerは部分的な補正能力を維持しており、トレーニング分布を超えた一般化能力を示唆している。