[論文レビュー] Candidate Fusion: Integrating Language Modelling into a Sequence-to-Sequence Handwritten Word Recognition Architecture

Lei Kang, Pau Riba+3 more|arXiv (Cornell University)|Dec 21, 2019

Handwritten Text Recognition Techniques参考文献 47被引用数 4

ひとこと要約

本論文では、外部言語モデルを一括処理型手書き単語認識システムに統合するための新規手法であるCandidate Fusionを提案する。この手法は、認識器と言語モデルを共同で学習することで、認識器の出力と言語モデルの予測を動的に統合し、認識誤りから自 adaptively 学習する。このアプローチにより、公開データセットおよび実際の産業用途において、最先端の手法を上回る性能を達成する。

ABSTRACT

Sequence-to-sequence models have recently become very popular for tackling handwritten word recognition problems. However, how to effectively integrate an external language model into such recognizer is still a challenging problem. The main challenge faced when training a language model is to deal with the language model corpus which is usually different to the one used for training the handwritten word recognition system. Thus, the bias between both word corpora leads to incorrectness on the transcriptions, providing similar or even worse performances on the recognition task. In this work, we introduce Candidate Fusion, a novel way to integrate an external language model to a sequence-to-sequence architecture. Moreover, it provides suggestions from an external language knowledge, as a new input to the sequence-to-sequence recognizer. Hence, Candidate Fusion provides two improvements. On the one hand, the sequence-to-sequence recognizer has the flexibility not only to combine the information from itself and the language model, but also to choose the importance of the information provided by the language model. On the other hand, the external language model has the ability to adapt itself to the training corpus and even learn the most commonly errors produced from the recognizer. Finally, by conducting comprehensive experiments, the Candidate Fusion proves to outperform the state-of-the-art language models for handwritten word recognition tasks.

研究の動機と目的

• 異なるコーパスで学習された一括処理型手書き単語認識器と外部言語モデルを統合する課題に対処すること。
• 光学認識と言語モデルの学習データの分布的バイアスによって引き起こされる性能低下を克服すること。
• 共同学習中に、光学認識器が生じる一般的な誤りを言語モデルが適応的に学習し、是正できることを可能にすること。
• 融合重みの手動チューニングを回避する、柔軟で学習可能な統合メカニズムの開発。
• 公開ベンチマークおよび実際の産業用途のデータセットにおいて、堅牢性と一般化性能を示すこと。

提案手法

• 外部言語モデルの予測を追加の入力トークン系列として一括処理型デコーダーに取り込む、学習可能な統合メカニズムとしてCandidate Fusionを提案する。
• 認識データを用いて一括処理型モデルと外部言語モデルを同時に学習させ、言語モデルが認識器の誤りパターンから学習し、是正できるようにする。
• デコーダー内のアテンション機構を活用し、視覚的特徴と言語モデルからの候補訳出結果の両方に動的に注目できるようにする。
• 一般化性能と耐障害性を向上させるために、合成手書きデータとデータ拡張戦略を事前学習段階で統合する。
• 推論段階での言語モデル予測の影響を制御するため、学習可能な統合ゲートまたはアテンションベースの重み付けを適用する。
• アブレーションスタディでは、編集距離に基づく辞書制約を用いて、語彙制限下での性能を評価する。

Figure 10: A cropped area of the real industrial use case dataset.

実験結果

リサーチクエスチョン

• RQ1 一括処理型認識器と外部言語モデルの共同学習により、コーパス不一致に起因する性能低下を軽減できるか？
• RQ2 認識精度と耐障害性の観点から、Candidate Fusionは浅い統合および深い統合のベースラインと比べてどのように差をつけるか？
• RQ3 言語モデルが、学習中に認識器が生じる一般的な誤りをどれほど適応的に学習し、是正できるか？
• RQ4 本手法は、複雑でノイズの多い手書きフォームを含む実際の産業用途のデータセットに対しても一般化できるか？
• RQ5 閉鎖辞書に依存せず、最先端の手法を上回る性能を達成できるか？

主な発見

• IAMデータセットではCERを5.79から5.74に、GWでは2.82から2.52に低下させ、浅い統合および深い統合のベースラインを上回った。
• Rimesデータセットでは、CERが2.32、WERが7.47を達成し、ベースライン（CER 2.65、WER 8.71）および他の統合手法を著しく上回った。
• 閉鎖辞書を用いた場合、RimesでCERが1.45（テストセットの辞書のみ使用）を達成し、ベースライン比で40%以上の誤り率低下を実現した。
• 自動車事故報告書フォームを含む実際の産業用途の事例では、CERが3.7、WERが4.5を達成し、強力なCTCベースのベースライン（CER 5.6、WER 7.4）を上回った。
• アブレーションスタディにより、言語モデルと共同学習させることで、誤り是正および一般化性能が向上することが確認された。特に、認識器固有の誤りに言語モデルを適応させた場合に顕著であった。