[論文レビュー] Weakly-Supervised Arbitrary-Shaped Text Detection with Expectation-Maximization Algorithm

Mengbiao Zhao, Wei Feng+3 more|arXiv (Cornell University)|Dec 1, 2020

Handwritten Text Recognition Techniques参考文献 40被引用数 4

ひとこと要約

本論文は、輪郭ベースの検出器を用いて、画像レベルのタグ、粗い・緩い・きついバウンディングボックスといったさまざまな弱教師信号を活用する、期待値最大化（EM）に基づく弱教師付きフレームワークを提案する。10%のポリゴンレベルのアノテーションと90%の弱教師付きデータを用いても、完全教師ありモデルと同等の性能を達成し、CTW1500、Total-Text、ICDAR-ArTベンチマークにおいて、完全教師あり状態の最良手法を上回る性能を発揮する。

ABSTRACT

Arbitrary-shaped text detection is an important and challenging task in computer vision. Most existing methods require heavy data labeling efforts to produce polygon-level text region labels for supervised training. In order to reduce the cost in data labeling, we study weakly-supervised arbitrary-shaped text detection for combining various weak supervision forms (e.g., image-level tags, coarse, loose and tight bounding boxes), which are far easier for annotation. We propose an Expectation-Maximization (EM) based weakly-supervised learning framework to train an accurate arbitrary-shaped text detector using only a small amount of polygon-level annotated data combined with a large amount of weakly annotated data. Meanwhile, we propose a contour-based arbitrary-shaped text detector, which is suitable for incorporating weakly-supervised learning. Extensive experiments on three arbitrary-shaped text benchmarks (CTW1500, Total-Text and ICDAR-ArT) show that (1) using only 10% strongly annotated data and 90% weakly annotated data, our method yields comparable performance to state-of-the-art methods, (2) with 100% strongly annotated data, our method outperforms existing methods on all three benchmarks. We will make the weakly annotated datasets publicly available in the future.

研究の動機と目的

• 任意形状のテキスト検出におけるポリゴンレベルのラベルの高コストなアノテーションを、容易に入手可能な弱教師信号形式を活用することで低減すること。
• 限られた強教師ラベルと豊富な弱教師ラベルを効果的に組み合わせる弱教師付き学習フレームワークの開発。
• 一般化性能と学習効率の向上を図るため、さまざまな弱教師信号フォーマットと互換性を持つ輪郭ベースの検出器の設計。
• 弱教師付き学習が、アノテーション作業を著しく削減しながらも、完全教師ありモデルに近い性能を達成できることの実証。

提案手法

• テキスト候補をまず生成し、その後に正確な輪郭を回帰する輪郭ベースの任意形状テキスト検出器を提案。これは弱教師信号形式と整合性が良い。
• 4つの弱教師信号形式を導入：画像レベルのタグ、粗いバウンディングボックス、緩いバウンディングボックス、きついバウンディングボックス。それぞれ、アノテーションに要する時間が段階的に短くなる。
• Eステップで潜在的なポリゴンラベルの確率分布を推定し、Mステップで仮ラベル付きポリゴンを用いてモデル重みを更新するEMに類似した最適化アルゴリズムを採用。
• EMプロセスの初期化に、少量の強教師ラベル付きデータで事前学習されたモデルを用いることで、収束性と最終的な性能が向上。
• ノイズの多い仮ラベルの影響を低減するため、信頼度重み付き損失関数を適用。
• 繰り返しEM学習ラウンドを実行し、性能は最初の2ラウンドで向上するが、3ラウンド目以降では仮ラベルの誤り蓄積により、停滞または劣化が生じる。

実験結果

リサーチクエスチョン

• RQ1 画像レベルのタグやバウンディングボックスといった弱教師信号形式は、アノテーションコストを著しく削減しながらも、高い検出精度を維持できるか？
• RQ2 EMに基づく学習フレームワークは、限られた強教師ラベルと豊富な弱教師ラベルを効果的に活用し、任意形状テキスト検出に適しているか？
• RQ3 異なる弱教師信号形式（例：きついバウンディングボックス vs. 緩いバウンディングボックス）は、モデル性能とアノテーション効率にどのような影響を与えるか？
• RQ4 強教師ラベルが10%のデータに限定される状況で、弱教師付きモデルが完全教師ありモデルの性能にどの程度近づけるか？

主な発見

• 強教師ラベルが10%のデータ、弱教師ラベルが90%のデータを用いても、CTW1500、Total-Text、ICDAR-ArTで、完全教師ありの最先端手法と同等のF-measureスコアを達成。
• 100%の強教師ラベルを用いた場合、3つのベンチマークすべてで既存手法を上回り、完全教師あり状態でも優れた精度を示した。
• 信頼度重み付き損失関数により、F-measureが約2.1–2.5%向上し、ノイズの多い仮ラベルの影響が低減された。
• 最初の2ラウンドのEM学習で性能が向上したが、3ラウンド目以降では仮ラベルの誤り蓄積により、性能が安定化または低下した。
• 「等時間」と「等数」の弱教師アノテーションポリシーは、「強」ポリシー（完全なポリゴンラベリング）を3.9%以上上回るF-measureを達成し、コストパフォーマンスに優れていることが示された。
• 緩いバウンディングボックスが最もコスト効率が良く、予算の80%をポリゴンに、20%を弱教師ラベルに割り当てた場合に最も高い性能を発揮した。