[論文レビュー] Mask is All You Need: Rethinking Mask R-CNN for Dense and Arbitrary-Shaped Scene Text Detection

Xugong Qin, Yu Zhou+6 more|arXiv (Cornell University)|Sep 8, 2021

Handwritten Text Recognition Techniques参考文献 71被引用数 4

ひとこと要約

本稿では、密集した任意形状のシーンテキスト検出に対応するため、マスクR-CNNフレームワークを再考したMAYORを提案する。主な課題として、マスクヘッドにおける学習の混乱と、極端なアスペクト比を持つテキストに対するアンカーの不適切なマッチングを解決する。デコンボリューション-コンボリューションデコーダーを置き換えることで、MLPデコーダーを採用し、インスタンスに特化したマスク学習を導入することで、5つのベンチマークで最先端の性能を達成。外部データを用いた場合、DAST1500では88.3%のFスコア、Total-Textでは88.9%を記録。

ABSTRACT

Due to the large success in object detection and instance segmentation, Mask R-CNN attracts great attention and is widely adopted as a strong baseline for arbitrary-shaped scene text detection and spotting. However, two issues remain to be settled. The first is dense text case, which is easy to be neglected but quite practical. There may exist multiple instances in one proposal, which makes it difficult for the mask head to distinguish different instances and degrades the performance. In this work, we argue that the performance degradation results from the learning confusion issue in the mask head. We propose to use an MLP decoder instead of the "deconv-conv" decoder in the mask head, which alleviates the issue and promotes robustness significantly. And we propose instance-aware mask learning in which the mask head learns to predict the shape of the whole instance rather than classify each pixel to text or non-text. With instance-aware mask learning, the mask branch can learn separated and compact masks. The second is that due to large variations in scale and aspect ratio, RPN needs complicated anchor settings, making it hard to maintain and transfer across different datasets. To settle this issue, we propose an adaptive label assignment in which all instances especially those with extreme aspect ratios are guaranteed to be associated with enough anchors. Equipped with these components, the proposed method named MAYOR achieves state-of-the-art performance on five benchmarks including DAST1500, MSRA-TD500, ICDAR2015, CTW1500, and Total-Text.

研究の動機と目的

• 複数のインスタンスが1つのプロポーザルに含まれるような密集テキストケースにおいて、マスクR-CNNベースのシーンテキスト検出器の性能低下を解消すること。
• 1つのRoI内に重複するか複数のインスタンスが存在する場合に生じるマスクヘッドにおける学習の混乱を解消すること。
• 固定アンカー設計を放棄し、アダプティブラベル割り当てを導入することで、極端なアスペクト比を持つテキストインスタンスのアンカーマッチングを改善すること。
• マスクブランチにおけるグローバルインスタンス表現の強化により、任意形状および曲がったテキストの検出を強化すること。

提案手法

• マスクヘッドにおける標準的な「デコンボリューション-コンボリューション」デコーダーを、特徴の混乱を軽減し、マスク予測の正確性を向上させる学習可能なMLPデコーダーに置き換える。
• インスタンスに特化したマスク学習を導入し、マスクヘッドが各ピクセルをテキスト/非テキストとして分類するのではなく、1つのインスタンス全体の正確な形状を予測する。
• RPNにおけるアダプティブラベル割り当て（ALA）を提案することで、極端なアスペクト比を持つテキストインスタンスが十分なアンカーとマッチするようにし、トレーニングの安定性とリCALLを向上させる。
• RoI特徴表現を活用して、マスクヘッドが各インスタンスに対して完全で、コンactかつ分離されたマスクを再構築できるようにする。
• マスク予測のため、クロスエントロピー損失とDice損失を併用して、エンドツーエンドでモデルを訓練し、精度と境界の正確性の両方を最適化する。
• COCOにおける一般化の検証のため、COCOを含む5つの公開ベンチマーク（DAST1500、MSRA-TD500、ICDAR2015、CTW1500、Total-Text）で手法を検証し、アブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 デコンボリューション-コンボリューションデコーダーをMLPデコーダーに置き換えることで、密集テキスト状況下でのマスク予測品質にどのような影響を与えるか？
• RQ2 インスタンスに特化したマスク学習は、マスクヘッドにおける学習の混乱を軽減し、マスクのコンパクト性と分離性を向上させるか？
• RQ3 アダプティブラベル割り当ては、極端なアスペクト比を持つテキストインスタンスの検出性能をどの程度向上させるか？
• RQ4 本手法は、従来の最先端手法と比較して、任意形状および曲がったテキスト検出においてどの程度の性能を示すか？
• RQ5 本フレームワークは、COCOのような一般インスタンスセグメンテーションベンチマークでも一般化可能であるか？その証拠として、COCOでの性能向上が示されるか？

主な発見

• MAYORは、DAST1500で88.3%のFスコアを達成し、以前の最先端手法を大きく上回る最先端の性能を実現。
• CTW1500では、外部データなしで85.3%のFスコア、MLT事前学習を用いることで86.1%を達成。TextSnake や DB よりも優れた性能を示した。
• Total-Textでは、外部データなしで86.3%のFスコア、MLT事前学習を用いることで88.9%を達成。SDを2%上回り、新たな最先端を樹立。
• マスクAPをCOCOで35.1%から35.6%に向上させ、断片的な予測の削減により、長く細いインスタンスへの一般化能力を示した。
• アブレーションスタディにより、MLPデコーダーとインスタンスに特化したマスク学習の両方が、特に密集および曲がったテキスト状況下で性能向上に顕著な寄与をしていることが確認された。
• アダプティブラベル割り当て機構により、長く細いテキストの正例割り当てが効果的に増加し、リCALLと全データセットにわたるロバストネスが向上した。