[論文レビュー] Convolutional Neural Networks for Page Segmentation of Historical Document Images

Kai Chen, Mathias Seuret|arXiv (Cornell University)|Apr 5, 2017

Handwritten Text Recognition Techniques被引用数 8

ひとこと要約

この論文は、手書き歴史的文書画像のページセグメンテーションのための単純な1層畳み込みニューラルネットワーク（CNN）を提案し、セグメンテーションを画素単位の分類タスクとして扱う。生の画像パッチからエンドツーエンドで特徴を学習することで、より深いアーキテクチャに比べて競争力ある性能を達成し、公開データセットにおいても最小限の深さとハイパーパramータチューニングで優れた結果が得られることを示している。

ABSTRACT

This paper presents a Convolutional Neural Network (CNN) based page segmentation method for handwritten historical document images. We consider page segmentation as a pixel labeling problem, i.e., each pixel is classified as one of the predefined classes. Traditional methods in this area rely on carefully hand-crafted features or large amounts of prior knowledge. In contrast, we propose to learn features from raw image pixels using a CNN. While many researchers focus on developing deep CNN architectures to solve different problems, we train a simple CNN with only one convolution layer. We show that the simple architecture achieves competitive results against other deep architectures on different public datasets. Experiments also demonstrate the effectiveness and superiority of the proposed method compared to previous methods.

研究の動機と目的

• 手書き歴史的文書画像のための汎用的でエンドツーエンドのページセグメンテーション手法を開発し、手作業で設計された特徴量や広範な分野知識に依存しないようにすること。
• 1つの畳み込み層しか持たない最小限のCNNアーキテクチャが、ドキュメント画像セグメンテーションで競争力ある性能を達成できるかどうかを調査すること。
• プーリング、カーネル数、深さ、トレーニングデータサイズといったアーキテクチャ的要素がセグメンテーション精度に与える影響を評価すること。
• 提案手法の性能と効率を、従来のルールベースおよび機械学習ベースのセグメンテーション手法と比較すること。

提案手法

• 本手法は、ページセグメンテーションを画素ラベル付け問題として扱い、各画素をテキスト、装飾、背景などの事前に定義されたクラスに割り当てる。
• スーパーピクセルアルゴリズムで抽出された画像パッチを、生のピクセルから直接空間的特徴を学習する1層畳み込み層CNNの入力として用いる。
• ネットワークはReLU活性化関数とソフトマックス出力を用い、多クラス画素分類を実現し、確率的勾配降下法を用いてトレーニングを行う。
• 最大プーリングを潜在的な構成要素として評価したが、レイアウトに敏感なタスクにおいて空間的精度の損失が生じるため、性能が低下することが示された。
• モデルはエンドツーエンドでトレーニングされ、特徴量学習と分類の最適化プロセスを統合しており、事前学習済み特徴抽出器を避ける。
• 後処理としてCRFが用いられ予測結果の微調整が行われるが、本手法の核心はトレーニングおよび評価が独立して実施される。

実験結果

リサーチクエスチョン

• RQ1 1つの畳み込み層しか持たない単純なCNNは、より深いアーキテクチャと比較して、手書き歴史的文書画像のセグメンテーション精度を競争的に達成できるか？
• RQ2 最大プーリングの導入は、特に空間的局所化が重要なタスクにおいて、セグメンテーション性能にどのように影響するか？
• RQ3 多様な歴史的文書データセットで安定した性能を得るための最適な畳み込みカーネル数とトレーニング画像数は何か？
• RQ4 限られたトレーニングデータにおいて、1層CNNの性能は低下するか、特にレイアウトのばらつきが大きい文書ではどうか？

主な発見

• 1層畳み込み層CNNは、Parzival、CB55、CSG863といった公開データセットにおいて、より複雑な深層CNNと同等の平均インターセクションオーバーユニオン（mIoU）スコアを達成した。
• 最大プーリング層を追加すると、1つのデータセット（CB55）でのみ性能がわずかに向上したが、一般的には空間的詳細の損失が原因で結果が劣化した。
• カーネル数（K）がK ≥ 4を超えると、ほとんどのデータセットで性能が頭打ちとなり、カーネル数の増加による利益が著しく減少することが示された。
• 畳み込み層の数を増やすことは性能向上に寄与せず、G. Washingtonデータセットではわずかに性能が低下した。これはトレーニングデータが限られていることが原因と考えられる。
• 1データセットあたり2枚を超えるトレーニング画像を追加しても、性能は顕著に向上せず、G. Washingtonデータセットではレイアウトのばらつきが大きく、正解ラベルが一貫しないことから、トレーニング画像数の増加に伴い性能がわずかに低下した。
• 本手法は1枚の画像を約1秒で処理でき、インフェレンス速度においてスーパーピクセルベースおよびCRFで微調整された手法を上回った。