[論文レビュー] I3CL:Intra- and Inter-Instance Collaborative Learning for Arbitrary-shaped Scene Text Detection

Boxue Du, Jian Ye+3 more|arXiv (Cornell University)|Aug 3, 2021

Handwritten Text Recognition Techniques被引用数 5

ひとこと要約

I3CLは、任意形状のテキストにおける破断検出および背景の混同を解消するために、マルチリーチフィールド畳み込みを用いたインスタンス内協調学習とテキストインスタンス変換器を用いたインスタンス間協調学習を活用する、二段階のシーンテキスト検出器を提案する。ArTで77.5%のF-measure、Total-Textで86.9%、CTW-1500で86.4%の最先端性能を達成し、ResNeSt-101を用いてArTの公式リーダーボードで1位を獲得した。

ABSTRACT

Existing methods for arbitrary-shaped text detection in natural scenes face two critical issues, i.e., 1) fracture detections at the gaps in a text instance; and 2) inaccurate detections of arbitrary-shaped text instances with diverse background context. To address these issues, we propose a novel method named Intra- and Inter-Instance Collaborative Learning (I3CL). Specifically, to address the first issue, we design an effective convolutional module with multiple receptive fields, which is able to collaboratively learn better character and gap feature representations at local and long ranges inside a text instance. To address the second issue, we devise an instance-based transformer module to exploit the dependencies between different text instances and a global context module to exploit the semantic context from the shared background, which are able to collaboratively learn more discriminative text feature representation. In this way, I3CL can effectively exploit the intra- and inter-instance dependencies together in a unified end-to-end trainable framework. Besides, to make full use of the unlabeled data, we design an effective semi-supervised learning method to leverage the pseudo labels via an ensemble strategy. Without bells and whistles, experimental results show that the proposed I3CL sets new state-of-the-art results on three challenging public benchmarks, i.e., an F-measure of 77.5% on ICDAR2019-ArT, 86.9% on Total-Text, and 86.4% on CTW-1500. Notably, our I3CL with the ResNeSt-101 backbone ranked 1st place on the ICDAR2019-ArT leaderboard. The source code will be available at https://github.com/ViTAE-Transformer/ViTAE-Transformer-Scene-Text-Detection.

研究の動機と目的

• 文字間のギャップにおける弱い特徴表現が原因で生じる任意形状テキストインスタンスの破断検出を是正すること。
• テキストインスタンス間の長距離依存関係をモデル化することで、複雑な背景における検出精度を向上させること。
• 単一インスタンス内での文字領域とギャップ領域の協調学習を通じて特徴表現を強化すること。
• 複数のテキストインスタンスにまたがる背景からの共有された意味的コンテキストを活用して、テキスト領域と非テキスト領域の区別を高めること。
• 限られたアノテーションで一般化性能を向上させるために、アンサンブルベースの偽ラベル付けを用いた効果的な半教師付き学習戦略を開発すること。

提案手法

• I3CLは、複数のリーチフィールドを持つ畳み込みブロックのカスケードを用いたIntra-CLモジュールを導入し、単一テキストインスタンス内の文字とギャップからの特徴を統合的に学習する。
• テキストインスタンス間の長距離依存関係をモデル化するために、変換器アーキテクチャを採用したInter-CLモジュールを採用する。
• 共有背景からの意味情報を捉えることで、インスタンス間での特徴の区別能を向上させるグローバルコンテキストモジュールを構築する。
• エンドツーエンドで学習可能な二段階検出フレームワークにおいて、インスタンス内およびインスタンス間の協調学習を統合する。
• 未ラベルデータを効果的に活用するため、アンサンブルベースの偽ラベル付け戦略を設計した半教師付き学習手法を採用する。
• モデルは、ResNetおよびResNeStバックボーンを用いて、ArT、Total-Text、CTW-1500の3つの公開ベンチマークで訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 単一テキストインスタンス内での協調学習が、文字領域およびギャップ領域の特徴表現を向上させ、破断検出を低減できるか？
• RQ2 異なるテキストインスタンス間の依存関係をモデル化することで、複雑な背景における検出のロバストネスが向上するか？
• RQ3 変換器ベースのモジュールが、任意形状テキスト検出におけるインスタンス間関係を効果的に捉えることができるか？
• RQ4 グローバル背景コンテキストを効果的に活用することで、テキスト領域と非テキスト領域の特徴区別が向上するか？
• RQ5 半教師付き学習におけるアンサンブルベースの偽ラベル付け戦略が、限られたアノテーションで検出性能を顕著に向上させるか？

主な発見

• I3CLは、ArTベンチマークで77.5%のF-measureという新記録を樹立し、公式リーダーボードで1位を獲得した。
• Total-Textでは86.9%のF-measureを達成し、従来手法を上回った。
• CTW-1500では86.4%のF-measureを達成し、長く湾曲したテキストへの強い汎化性能を示した。
• 計算量が20.7%増加したものの、Mask R-CNNベースラインと比較してF-measureが3%以上向上した。
• CTW-1500では7.6 fpsの推論速度を達成し、PSENetおよびContourNetを上回るスピードと精度を同時に実現した。
• アブレーションスタディにより、インスタンス内およびインスタンス間の協調学習コンponentが性能向上に不可欠であることが確認された。