[論文レビュー] ICDAR 2019 Robust Reading Challenge on Reading Chinese Text on Signboard

Xi Liu, Rui Zhang+14 more|arXiv (Cornell University)|Dec 20, 2019

Handwritten Text Recognition Techniques参考文献 8被引用数 9

ひとこと要約

本論文は、ICDAR 2019 Robust Reading Challenge on Chinese Text on Signboard (ReCTS) を提示し、詳細な文字およびテキストラインのアノテーションが施された25,000枚の署名画像からなる大規模データセットを紹介する。本チャレンジでは、中国語テキストの曖昧さに対処するための新規なマルチグランドトレゥス評価法を用いて、4つのタスク—文字認識、テキストライン認識、テキストライン検出、エンドツーエンド認識—を実施し、世界中の機関から46チーム、262件の提出が寄せられ、高いパフォーマンスを達成した。

ABSTRACT

Chinese scene text reading is one of the most challenging problems in computer vision and has attracted great interest. Different from English text, Chinese has more than 6000 commonly used characters and Chinesecharacters can be arranged in various layouts with numerous fonts. The Chinese signboards in street view are a good choice for Chinese scene text images since they have different backgrounds, fonts and layouts. We organized a competition called ICDAR2019-ReCTS, which mainly focuses on reading Chinese text on signboard. This report presents the final results of the competition. A large-scale dataset of 25,000 annotated signboard images, in which all the text lines and characters are annotated with locations and transcriptions, were released. Four tasks, namely character recognition, text line recognition, text line detection and end-to-end recognition were set up. Besides, considering the Chinese text ambiguity issue, we proposed a multi ground truth (multi-GT) evaluation method to make evaluation fairer. The competition started on March 1, 2019 and ended on April 30, 2019. 262 submissions from 46 teams are received. Most of the participants come from universities, research institutes, and tech companies in China. There are also some participants from the United States, Australia, Singapore, and Korea. 21 teams submit results for Task 1, 23 teams submit results for Task 2, 24 teams submit results for Task 3, and 13 teams submit results for Task 4. The official website for the competition is http://rrc.cvc.uab.es/?ch=12.

研究の動機と目的

• 実際の看板における中国語テキストを読み取る課題に取り組むこと。その際、複雑なレイアウト、多様なフォント、高い文字の可変性が課題となる。
• 25,000枚の看板画像からなる大規模かつ詳細にアノテートされたデータセットを構築することで、中国語シーンテキスト認識のためのレジリエントベンチマークを確立すること。
• 文字認識、テキストライン認識、テキストライン検出、エンドツーエンド認識の複数のタスクを通じて、最先端の手法を評価・比較すること。
• 中国語テキスト転写における固有の曖昧さを公平に反映するため、マルチグランドトレゥス（マルチ-GT）評価戦略を導入すること。
• 中国語テキスト認識分野における国際的協力とイノベーションを促進するため、中国、米国、オーストラリア、シンガポール、韓国など10カ国から大学、研究機関、テック企業が参加する国際的コンペティションを主催すること。

提案手法

• 25,000枚のストリートビュー看板画像からなる大規模データセットを収集し、すべての文字およびテキストラインに対してボクシングボックスと転写が正確にアノテートされた。
• 4つの明確に定義されたタスクを設定した：文字認識、テキストライン認識、テキストライン検出、エンドツーエンド認識。これらは、システムの能力の異なるレベルを評価することを目的としている。
• 中国語テキスト認識における曖昧さを反映するために、1枚の画像に対して複数の正しい転写を許容するマルチグランドトレゥス（マルチ-GT）評価法を提案した。
• オンラインでコンペティションを主催し、専用のウェブサイトを運営することで、中国、米国、オーストラリア、シンガポール、韓国など10カ国から46チームが参加し、提出が可能になった。
• 転写のばらつきに強く、多様な認識アプローチ間の公平な比較を保証するように、評価指標を設計した。

実験結果

リサーチクエスチョン

• RQ1 レジリエントテキスト認識研究を支援するため、中国語看板画像の高品質で大規模なデータセットをどのように構築できるか？
• RQ2 レイアウト、フォント、文字の複雑さの影響により、実際の看板における中国語テキスト認識の主な課題は何か？
• RQ3 マルチグランドトレゥス評価法は、中国語テキスト認識システムの評価における公平性と正確性をどのように向上させるか？
• RQ4 実際の中国語看板データにおいて、文字認識、テキストライン認識、検出、エンドツーエンド認識の各タスクで達成可能なパフォーマンス水準はどの程度か？
• RQ5 多様な機関から寄せられた最先端の手法は、実際の状況下における中国語シーンテキストの複雑さをどのように処理しているか？

主な発見

• コンペティションには、46チームから合計262件の提出が寄せられ、中国語テキスト認識研究分野における強い国際的関与が示された。
• タスク1（文字認識）には21チーム、タスク2（テキストライン認識）には23チーム、タスク3（テキストライン検出）には24チーム、タスク4（エンドツーエンド認識）には13チームが参加した。
• マルチグランドトレゥス評価法は、転写の曖昧さに起因するバイアスを効果的に低減し、より公平で信頼性の高いパフォーマンス比較を実現した。
• 25,000枚のアノテート済み看板画像からなる公開データセットは、今後の中国語シーンテキスト理解研究の包括的ベンチマークを提供する。
• すべてのタスクで高いパフォーマンスが達成され、特にエンドツーエンド認識で顕著な進展が見られ、検出と認識の統合モデリングの進歩が示された。
• チャレンジを通じて、中国の研究チームの優位性が顕著に現れたが、米国、オーストラリア、シンガポール、韓国の機関からの顕著な貢献も確認された。