[論文レビュー] Learning Document Image Binarization from Data

Yue Wu, Stephen Rawls+2 more|arXiv (Cornell University)|May 4, 2015

Handwritten Text Recognition Techniques参考文献 14被引用数 8

ひとこと要約

本論文は、従来の再定式化された、および新規の特徴量（対数強度パーセンタイル：LIP および相対的暗黒度インデックス：RDI）を組み合わせた高次元特徴空間を活用し、完全にトレーニング可能でパラメータフリーの教師あり学習手法を提案する。この手法は、ラベル付きデータのわずか1.5％でのトレーニングで、DIBCOベンチマークで最先端の性能を達成し、ドメイン外の画像に対しても良好な一般化性能を示す。

ABSTRACT

In this paper we present a fully trainable binarization solution for degraded document images. Unlike previous attempts that often used simple features with a series of pre- and post-processing, our solution encodes all heuristics about whether or not a pixel is foreground text into a high-dimensional feature vector and learns a more complicated decision function. In particular, we prepare features of three types: 1) existing features for binarization such as intensity [1], contrast [2], [3], and Laplacian [4], [5]; 2) reformulated features from existing binarization decision functions such those in [6] and [7]; and 3) our newly developed features, namely the Logarithm Intensity Percentile (LIP) and the Relative Darkness Index (RDI). Our initial experimental results show that using only selected samples (about 1.5% of all available training data), we can achieve a binarization performance comparable to those fine-tuned (typically by hand), state-of-the-art methods. Additionally, the trained document binarization classifier shows good generalization capabilities on out-of-domain data.

研究の動機と目的

• ヒューリスティックなしきい値処理手法の制限を克服する、パラメータフリーで完全にトレーニング可能なバイナリゼーションソリューションの開発。
• インクの滲み、褪色、不均一な照明といった課題を抱える劣化したドキュメント画像に対する耐性の向上。
• 再調整や手動でのパrameter調整なしにドメイン外データへの一般化を可能にする。
• 最小限のラベル付きデータでトレーニングされた教師あり学習が、手作業で最適化された手法を上回るか同等の性能を発揮することの実証。
• より良い識別性を実現するための高レベルなドキュメント特性をエンコードする新規特徴量（LIPおよびRDI）の導入。

提案手法

• 本手法は、3種類の特徴量（標準特徴量：強度、コントラスト、ラプラシアン；既存のバイナリゼーション関数からの再定式化特徴量；新規特徴量：LIPおよびRDI）を1ピクセルごとに組み合わせた高次元特徴ベクトルを構築する。
• LIPは対数パーセンタイル統計を用いて強度分布を捉え、RDIは局所的領域における相対的暗黒度を定量化し、文字と背景を区別する。
• ハイパーパramータ最適化のため、10分割交差検証を用いて全ピクセルの1.5％に相当するラベル付きピクセルのサブセットを用いてランダムフォレスト分類器をトレーニングする。
• 最終的なモデルは、すべての利用可能なトレーニングサンプルで再トレーニングされ、テスト画像の全ピクセルに対して二値ラベルを予測するために使用される。
• 特徴量の重要度分析により、主な寄与要因を特定：全体的な寄与ではRDI、グローバル強度ヒストグラム、LIPが顕著であり、次元ごとの寄与ではRDI、LTSI、Suが上位を占める。
• 推論時間は画像サイズに応じて1枚あたり5〜30秒程度で、ピクセル単位の分類処理に起因する。

実験結果

リサーチクエスチョン

• RQ1 手動でのパrameter調整なしに、最適化された最先端のヒューリスティック手法と同等のバイナリゼーション性能を達成できるか？
• RQ2 わずか1.5％のラベル付きデータ（1.5%）でトレーニングされたモデルが、未知のドメイン外ドキュメント画像に対して効果的に一般化できるか？
• RQ3 LIPやRDIのような新規特徴量が、劣化したドキュメント画像のバイナリゼーション性能を顕著に向上させるか？
• RQ4 さまざまな実世界のドキュメント劣化タイプ（インクの滲み、褪色、不均一な照明など）において、学習された分類器の性能はどのように変動するか？
• RQ5 異なる特徴量タイプが最終的なバイナリゼーション精度および耐性に果たす寄与度はどの程度か？

主な発見

• 提案手法はDIBCO 2012でF1スコア92.01％、DIBCO 2013で91.40％、DIBCO 2014で92.69％を達成し、上位のコンテスト参加エントリーよりも同等または上回る性能を示した。
• 全データセットでDRDスコアが3ピクセル未満を維持し、DIBCO 2014では最低のDRD 0.902を記録した。これは、テキスト境界の局所化精度が非常に高いことを示している。
• トレーニングサンプルが1,920件（全データの1.5％）にとどまる状況でもF1スコア91.47％を達成し、17,280件を超えると性能が頭打ちになることが確認され、追加データによる利得は減少する傾向にある。
• ドメイン外データに対しても良好な一般化性能を示し、トレーニング時に見られなかった褪色したテキストや汚れた背景を持つ画像のバイナリゼーションに成功した。
• 特徴量の重要度分析から、RDI、グローバル強度ヒストグラム、LIPが全体的な寄与度で最も影響力が強く、次元ごとの寄与ではRDI、LTSI、Suが上位を占めた。
• PSNR値はDIBCO 2012で19.92 dB、DIBCO 2013で20.13 dB、DIBCO 2014で19.47 dBを記録し、正解画像と強い構造的類似性を示している。