[論文レビュー] High-Resolution Document Shadow Removal via A Large-Scale Real-World Dataset and A Frequency-Aware Shadow Erasing Net

Zinuo Li, Xuhang Chen+2 more|arXiv (Cornell University)|Aug 27, 2023

Digital Media Forensic DetectionComputer Science被引用数 3

ひとこと要約

本論文は、7,000枚の高解像度ドキュメント画像ペアを含む大規模な実世界データセット（SD7K）と、画像を低周波および高周波成分に分解することで影除去を向上させる周波数に配慮したネットワーク（FSENet）を提案する。FSENetはトランスフォーマーに基づくグローバルモデリングと拡張畳み込みモジュールを用い、微細なディテールを保持する。高解像度ドキュメントにおいて視覚的品質と定量的指標の両面で最先端の性能を達成している。

ABSTRACT

Shadows often occur when we capture the documents with casual equipment, which influences the visual quality and readability of the digital copies. Different from the algorithms for natural shadow removal, the algorithms in document shadow removal need to preserve the details of fonts and figures in high-resolution input. Previous works ignore this problem and remove the shadows via approximate attention and small datasets, which might not work in real-world situations. We handle high-resolution document shadow removal directly via a larger-scale real-world dataset and a carefully designed frequency-aware network. As for the dataset, we acquire over 7k couples of high-resolution (2462 x 3699) images of real-world document pairs with various samples under different lighting circumstances, which is 10 times larger than existing datasets. As for the design of the network, we decouple the high-resolution images in the frequency domain, where the low-frequency details and high-frequency boundaries can be effectively learned via the carefully designed network structure. Powered by our network and dataset, the proposed method clearly shows a better performance than previous methods in terms of visual quality and numerical results. The code, models, and dataset are available at: https://github.com/CXH-Research/DocShadow-SD7K

研究の動機と目的

• ドキュメントの影除去のための大規模で高解像度の実世界データセットが不足しているという問題に対処すること。
• 高解像度ドキュメント画像におけるフォントや図形などの微細なディテールを保持できる深層学習モデルの開発。
• 低解像度の近似や弱い教師付き学習に依存する従来の手法の限界を克服し、アーチファクトや幻覚を低減すること。
• 周波数分解されたネットワークアーキテクチャを用いて、多様な照明条件下でも頑健で高精度な影除去を実現すること。

提案手法

• 著者らは、手動でアノテートされた影マスクを備えた7,000組の実世界の高解像度（2462×3699）ドキュメント画像ペアを収集し、SD7Kデータセットを構築した。
• 周波数に配慮したネットワークFSENetは、ラプラシアンピラミッド構造を用いて入力画像を低周波および高周波成分に分解する。
• 低周波成分はトランスフォーマーに基づくモジュール（TRM）とデュアルフィーチャ強化モジュール（DFE）を経由して処理され、グローバルな照明変化をモデル化する。
• 高周波成分は、段階的な拡張畳み込みに基づくテクスチャ回復モジュール（TRM）を介して回復され、エッジや輪郭などの微細なディテールが復元される。
• 低周波および高周波ブランチに対して別々のアテンション機構を採用し、ドメイン特化型の特徴学習を可能にする。
• トレーニングデータの拡張と一般化性能の向上を目的として、影の合成パイプラインを用いた。特に小規模なベンチマークにおいて有効である。

実験結果

リサーチクエスチョン

• RQ1 大規模で実世界の高解像度データセットは、ドキュメントの影除去モデルの性能と一般化能力を向上させ得るか？
• RQ2 ネットワークアーキテクチャにおける周波数分解は、高解像度ドキュメントにおけるフォントや図形などの微細なディテールの保持を向上させるか？
• RQ3 提案されたFSENetは、従来の教師あり、弱教師あり、教師なし手法と比較して、視覚的品質と定量的指標の両面で優れているか？
• RQ4 FSENetアーキテクチャの個々のモジュール（例：TRM、DFE、DAT、影の合成）は、最終的な性能にどの程度寄与しているか？

主な発見

• FSENetは、公的ベンチマークおよび提案されたSD7Kデータセットにおいて、PSNR、SSIM、RMSE指標の両方で最先端の性能を達成した。
• 弱教師ありおよび教師なし手法と比較して、特にドメインシフト条件下でもアーチファクトや幻覚が顕著に低減された。
• アブレーションスタディの結果、ラプラシアンピラミッドの深さを増すと性能が低下することが判明し、3段階が最適な分解深度であると示された。
• DFEとDATモジュールの組み合わせが、低周波成分の影除去性能を最も高め、TRMモジュールが高周波成分のディテール回復に不可欠であることが判明した。
• 影の合成パイプラインを削除すると、特に小規模なデータセットにおいて性能が著しく低下し、一般化性能への重要性が確認された。
• 優れた性能を発揮するが、計算コストが高く、パrameter数も多いため、エッジデバイスへのデプロイは不可能である。