[論文レビュー] Text recognition on images using pre-trained CNN

Afgani Fajar Rizky, Novanto Yudistira+1 more|arXiv (Cornell University)|Feb 10, 2023

Computer Science and Engineering被引用数 4

ひとこと要約

この論文では、データ拡張技術を用いた事前学習済みVGG-16 CNNを用いたテキスト認識システムを提案し、テストデータで98.16%の精度、IIIT-5K-Datasetで95.62%の精度を達成した。この手法はImageNetからの転移学習を活用し、回転、スケーリング、ガウスノイズを適用することで、シーンテキスト認識タスクにおける耐性および性能を向上させた。

ABSTRACT

A text on an image often stores important information and directly carries high level semantics, makes it as important source of information and become a very active research topic. Many studies have shown that the use of CNN-based neural networks is quite effective and accurate for image classification which is the basis of text recognition. It can also be more enhanced by using transfer learning from pre-trained model trained on ImageNet dataset as an initial weight. In this research, the recognition is trained by using Chars74K dataset and the best model results then tested on some samples of IIIT-5K-Dataset. The research results showed that the best accuracy is the model that trained using VGG-16 architecture applied with image transformation of rotation 15°, image scale of 0.9, and the application of gaussian blur effect. The research model has an accuracy of 97.94% for validation data, 98.16% for test data, and 95.62% for the test data from IIIT-5K-Dataset. Based on these results, it can be concluded that pre-trained CNN can produce good accuracy for text recognition, and the model architecture that used in this study can be used as reference material in the development of text detection systems in the future

研究の動機と目的

• 事前学習済みCNNのシーンテキスト認識への有効性を調査すること。
• 回転、スケーリング、ガウスノイズなどのデータ拡張技術がモデル性能に与える影響を評価すること。
• IIIT-5K-Datasetのような未学習のデータセットへのモデルの汎化能力を評価すること。
• 高精度なテキスト認識に最適なモデルアーキテクチャおよびハイパーパrameterを特定すること。

提案手法

• チャラス74Kデータセットを用いて、事前学習済みVGG-16モデルを微調整してテキスト認識を実行する。
• 回転（15°）、スケーリング（0.9）、ガウスノイズを用いた画像拡張を適用し、耐性を向上させる。
• ImageNetで事前学習された重みを初期値として使用することで、特徴抽出の能力を向上させる転移学習を活用する。
• 交差エントロピー損失とAdam最適化アルゴリズムを用いて、分類タスクとしてエンドツーエンドでモデルを学習する。
• 汎化性能を測定するために、検証データ、テストデータ、IIIT-5K-Datasetのスプリットで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNは、シーンテキスト認識タスクで高い精度を達成できるか？
• RQ2 特定のデータ拡張技術が、テキスト認識モデルの性能にどのように影響するか？
• RQ3 最大の精度を得るための最適なモデルアーキテクチャとデータ拡張の組み合わせは何か？
• RQ4 学習済みモデルは、IIIT-5K-Datasetのような未学習のデータセットに対し、どの程度汎化できるか？

主な発見

• 回転、スケーリング、ガウスノイズ拡張を適用したVGG-16を用いた最良のモデルは、検証データで97.94%の精度を達成した。
• チャラス74Kデータセットのテストセットでは98.16%の精度に達し、優れた汎化性能を示した。
• IIIT-5K-Datasetでは95.62%の精度を維持したため、多様なテキスト画像への高い転送性があることが示された。
• VGG-16アーキテクチャと特定のデータ拡張の組み合わせが、認識性能の顕著な向上に寄与した。