[論文レビュー] Intrinsic Decomposition of Document Images In-the-Wild

Sagnik Das, Hassan Ahmed Sial+4 more|arXiv (Cornell University)|Nov 29, 2020

Digital Media Forensic Detection参考文献 48被引用数 4

ひとこと要約

本論文は、実世界の複雑で非一様な照照明下におけるドキュメント画像の内在的分解のための自己教師あり、物理的制約付きディープラーニングフレームワークを提案する。2段階のアーキテクチャ—入力画像のホワイトバランスを処理するWBNetと、照明と反射率の分離を実行するSMTNet—を導入し、新規のマルチイルミナントデータセット（Doc3DShade）を用いて、OCRにおける文字誤り率に26%の向上を達成した。これは、困難な照明条件や紙の形状を有する実世界のドキュメント画像においても優れた汎化性能を示している。

ABSTRACT

Automatic document content processing is affected by artifacts caused by the shape of the paper, non-uniform and diverse color of lighting conditions. Fully-supervised methods on real data are impossible due to the large amount of data needed. Hence, the current state of the art deep learning models are trained on fully or partially synthetic images. However, document shadow or shading removal results still suffer because: (a) prior methods rely on uniformity of local color statistics, which limit their application on real-scenarios with complex document shapes and textures and; (b) synthetic or hybrid datasets with non-realistic, simulated lighting conditions are used to train the models. In this paper we tackle these problems with our two main contributions. First, a physically constrained learning-based method that directly estimates document reflectance based on intrinsic image formation which generalizes to challenging illumination conditions. Second, a new dataset that clearly improves previous synthetic ones, by adding a large range of realistic shading and diverse multi-illuminant conditions, uniquely customized to deal with documents in-the-wild. The proposed architecture works in a self-supervised manner where only the synthetic texture is used as a weak training signal (obviating the need for very costly ground truth with disentangled versions of shading and reflectance). The proposed approach leads to a significant generalization of document reflectance estimation in real scenes with challenging illumination. We extensively evaluate on the real benchmark datasets available for intrinsic image decomposition and document shadow removal tasks. Our reflectance estimation scheme, when used as a pre-processing step of an OCR pipeline, shows a 26% improvement of character error rate (CER), thus, proving the practical applicability.

研究の動機と目的

• 実世界のドキュメント画像における非一様かつマルチイルミナントの照照明の課題に対処し、OCRやコンテンツ処理の品質低下を軽減すること。
• 均一な色の統計に依存する従来の手法の限界を克服し、平坦で均一に照照明された紙面を仮定するのではなく、実際の状況を反映すること。
• 反射率と照明の分離に高価な真値アノテーションを必要としない自己教師あり学習アプローチを構築し、画像形成の物理的制約を活用すること。
• 多様な照照明条件と複雑な3次元ドキュメント形状を備えた大規模で現実的な合成データセット（Doc3DShade）を構築し、モデルの汎化性能を向上させること。
• 反射率推定を前処理ステップとして適用することで、実用的価値を実証すること。

提案手法

• 物理的制約付きの学習アプローチを用いて、入力画像の照照明色を中和するための2段階ネットワーク—WBNet—を提案。
• 合成テクスチャを弱い監督信号として活用し、真値の分離画像を必要としない自己教師ありの照明と反射率の分離をSMTNetで実行する。
• 新しいデータセット、Doc3DShadeを用いてモデルを訓練。これは、公に提供されているDoc3Dデータセットに、現実的でマルチイルミナントの条件と複雑な3次元ドキュメント形状を追加したものである。
• 画像形成の物理的制約（例：反射率と照明が乗算成分として作用する）を損失関数に組み込み、物理的に妥当な出力を保証する。
• 合成テクスチャのみを監督信号として使用する弱教師あり学習のアプローチを採用し、高価な実世界アノテーションへの依存度を低減する。
• 反射率推定をOCRパイプラインの前処理ステップとして統合し、実世界応用の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全にアノテートされた真値を必要とせずに、複雑で非一様な照照明下におけるドキュメント画像の内在的画像分解を自己教師ありディープラーニングモデルが安定して達成できるか？
• RQ2 ローカルな色統計や平坦な表面仮定に依存する手法と比較して、物理的制約付きの学習アプローチがどのように汎化性能を向上させるか？
• RQ3 マルチイルミナント条件を備えた大規模で現実的な合成データセットが、実世界のドキュメント画像分解タスクにおける性能向上にどの程度寄与するか？
• RQ4 本手法は、微調整なしで、紙に類似した素材を持つ非ドキュメントオブジェクト（例：ティーバッグ）にも汎用的に適用可能か？
• RQ5 反射率推定が、実世界の状況におけるOCR精度向上の前処理ステップとしてどの程度有効か？

主な発見

• 反射率推定をOCRパイプラインの前処理ステップとして適用した場合、文字誤り率（CER）が相対的に26%改善され、顕著な実用的インパクトを示した。
• 表1に示すように、DewarpNetベンチマークデータセットにおいて、OCR誤り率の低減が21%向上した。
• 定性的な比較では、本手法が、ソフトシャドウや複雑でねじれたドキュメント形状に対して、最先端のシャドウ除去手法（例：Kliglerら）を上回ることを示した。
• MIT-Intrinsicsの非ドキュメントの紙に類似したオブジェクト（例：ティーバッグ）に対しても、微調整なしで良好な汎化性能を示し、より広範な適用可能性を示した。
• 鋭い明確なシャドウ境界を有するハードシャドウに対しては、モデルが失敗する傾向にあり、このようなケースのモデル化には限界があることが示された。
• マルチイルミナントデータセット（Doc3DShade）の使用により、色付きで非一様な照照明を含む多様な照明条件を、高い忠実度で処理できるようになった。