[論文レビュー] LV-ROVER: Lexicon Verified Recognizer Output Voting Error Reduction

Bruno Stuner, Clément Chatelain+1 more|ArXiv.org|Jul 24, 2017

Internet Traffic Analysis and Secure E-voting参考文献 17被引用数 3

ひとこと要約

LV-ROVER は、言語モデルを必要とせず、数百の生の BLSTM ベースの手書き文字行認識器を低複雑性で、効率的に統合する、語彙検証付きの ROVER フレームワークを提案する。単語レベルのアラインメントと語彙ベースの投票を統合することで、RIMES データセットで 2.53% の CER と 7.84% の WER を達成し、古典的 ROVER や先行の SOTA 方法を上回る最先端の性能を実現した。

ABSTRACT

Offline handwritten text line recognition is a hard task that requires both an efficient optical character recognizer and language model. Handwriting recognition state of the art methods are based on Long Short Term Memory (LSTM) recurrent neural networks (RNN) coupled with the use of linguistic knowledge. Most of the proposed approaches in the literature focus on improving one of the two components and use constraint, dedicated to a database lexicon. However, state of the art performance is achieved by combining multiple optical models, and possibly multiple language models with the Recognizer Output Voting Error Reduction (ROVER) framework. Though handwritten line recognition with ROVER has been implemented by combining only few recognizers because training multiple complete recognizers is hard. In this paper we propose a Lexicon Verified ROVER: LV-ROVER, that has a reduce complexity compare to the original one and that can combine hundreds of recognizers without language models. We achieve state of the art for handwritten line text on the RIMES dataset.

研究の動機と目的

• 生の手書き文字行認識器を数百台も効率的に統合する課題に取り組むこと、特に言語モデルが利用できない状況での対応。
• 従来の ROVER の計算複雑性を低下させることを目的とし、複数の認識器間で動的計画法を用いたアラインメントを回避すること。
• 語彙検証付き投票機構を導入することで、単語レベルの整合性を高め、誤りを低減し、認識精度を向上させること。
• 言語モデルやデータセット固有の語彙に依存を最小限に抑えることで、生の光学モデルのみを用いて高精度な認識を実現すること。
• 言語的スムージングなしに、大規模で多様な認識器を効果的に統合できることを実証すること。

提案手法

• LV-ROVER フレームワークは、文字レベルの動的計画法ではなく、語数に基づいて認識器出力をアラインメントする新規なアラインメントモジュールを導入し、計算コストを顕著に削減する。
• 候補語が語彙に存在するかを検証する投票機構を採用し、語彙にない出力を破棄することで、認識の信頼性を向上させる。
• 従来の言語モデル統合を必要とせず、数百の生の BLSTM ベースの光学モデルの統合を可能にする。
• データ拡張とモデル重みの摂動を用いたトレーニングテクニックにより、補完的で多様な BLSTM 認識器のコhort を生成する。
• 大規模な汎用語彙辞書を含むマルチ語彙戦略を採用し、高いカバー率を維持しながらも、性能を損なわないようにする。
• フレームワークは語彙に依存しない設計となっており、任意の語彙、あるいは語彙なしでも使用可能でありながら、頑健性と低誤り率を維持できる。

実験結果

リサーチクエスチョン

• RQ1 計算コストを最小限に抑えつつ、数百の生の手書き文字行認識器を効率的に統合できる ROVER に類似したフレームワークを設計できるか？
• RQ2 融合時に言語モデルが使用されない状況でも、語彙検証が認識精度をどのように向上させるか？
• RQ3 従来の ROVER と比較して、LV-ROVER の性能は語彙のサイズやカバー率にどの程度依存するか？
• RQ4 生の光学モデルのみを組み合わせたシステムが、手書き文字認識ベンチマークで最先端の性能を達成できるか？
• RQ5 RIMES データセットにおいて、古典的 ROVER や他の SOTA 方法と比較して、LV-ROVER の性能と複雑性はどの程度か？

主な発見

• LV-ROVER は、RIMES テストセットにおいて Rimes 語彙を用いて、文字誤り率（CER）2.53%、単語誤り率（WER）7.84% を達成し、古典的 ROVER や先行の SOTA 方法を上回った。
• 異なる語彙サイズでも安定した性能を維持し、データセット固有の Rimes 語彙を除いた 330万語の巨大語彙を使用しても CER はわずかに上昇する（3.17% まで）ことが確認された。
• Voigtlaender 他（2016）や Pham 他（2014）といった最先端手法と比較して、LV-RODER は 2.53% の CER を達成し、それぞれ 2.8% と 3.3% を上回った。
• 語彙サイズに対して低い感度を示しており、大規模または多言語語彙に対しても頑健でスケーラブルであることが示された。
• 古典的 ROVER は生の認識器を統合する際、CER 4.73% にとどまり、LV-ROVER の 2.53% に比べて顕著に性能が劣ることが判明した。これは、語彙検証と効率的なアラインメントの利点を示している。
• フレームワークにより、言語モデルを一切使用せずに高精度な認識が可能であることが実証され、生の光学モデルアンサンブルを語彙検証付き投票によって効果的に統合できることが示された。