[論文レビュー] Self-Training for Domain Adaptive Scene Text Detection

Yudi Chen, Wei Wang+4 more|arXiv (Cornell University)|May 23, 2020

Handwritten Text Recognition Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、未ラベル付きの動画や画像を活用して高品質な偽ラベル付きの難易度の高い例をマイニングする、ドメイン適応型シーンテキスト検出の自己学習フレームワークを提案する。独創的なテキストマイニングモジュール（TMM）を用いて検出結果とトラッキング結果を統合し、動画が利用できない場合には画像から動画に似たデータを生成する手法（Gen-Loop）を採用することで、最小限のラベル付けコストで ICDAR2015 および MSRA-TD500 で最先端の性能を達成した。

ABSTRACT

Though deep learning based scene text detection has achieved great progress, well-trained detectors suffer from severe performance degradation for different domains. In general, a tremendous amount of data is indispensable to train the detector in the target domain. However, data collection and annotation are expensive and time-consuming. To address this problem, we propose a self-training framework to automatically mine hard examples with pseudo-labels from unannotated videos or images. To reduce the noise of hard examples, a novel text mining module is implemented based on the fusion of detection and tracking results. Then, an image-to-video generation method is designed for the tasks that videos are unavailable and only images can be used. Experimental results on standard benchmarks, including ICDAR2015, MSRA-TD500, ICDAR2017 MLT, demonstrate the effectiveness of our self-training method. The simple Mask R-CNN adapted with self-training and fine-tuned on real data can achieve comparable or even superior results with the state-of-the-art methods.

研究の動機と目的

• 新しいドメインに展開された深層学習ベースのシーンテキスト検出器が、限られたラベル付きデータのもとで著しく性能が低下する問題に対処すること。
• 高価で時間がかかるデータラベリングに依存を減らし、未ラベル付きの動画や画像を活用して自己学習を行うこと。
• 自動的かつノイズ低減された難易度の高い例のマイニングにより、モデルの汎化性能と性能を向上させること。
• 実際の動画が入手できない状況でも、画像から動画に似たシーケンスを生成する画像から動画への生成手法（Gen-Loop）を用いて、効果的な自己学習を可能にすること。

提案手法

• 本稿では、ソースドメインのデータで初期化された検出器を、未ラベル付きのターゲットドメインの動画または画像から得られる偽ラベル付きの例を用いて再訓練する自己学習フレームワークを提案する。
• テキストマイニングモジュール（TMM）は、検出結果とトラッキング結果を統合し、ノイズの多い予測をフィルタリングし、高い信頼度の硬い例を特定する。
• 検出結果はマスクR-CNNに基づく検出器によって生成され、トラッキングはオブジェクトの一貫性を保つためにテンプレートマッチングを用いて実行される。
• 画像から動画への生成手法（Gen-Loop）は、静止画像から動画に似たシーケンスを合成し、実際の動画が入手できない状況での自己学習を可能にする。
• 再訓練段階では、偽ラベル付きデータ上で学習の安定化と収束の向上を図るため、バランス損失が適用される。
• 本フレームワークは動画と画像の両方の入力をサポートしており、複数の自己学習ループを経て段階的な最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 未ラベル付きの動画や画像から得られる偽ラベル付きの例を用いた自己学習が、ラベルがほとんどないターゲットドメインにおいて、シーンテキスト検出の性能を効果的に向上させることができるか？
• RQ2 検出結果とトラッキング結果をどのように効果的に統合すれば、偽ラベルのノイズを低減し、マイニングされた硬い例の品質を向上させることができるか？
• RQ3 画像から動画への生成手法（Gen-Loop）が、ターゲットドメインに動画が存在しない状況でも、どの程度自己学習を可能にするか？
• RQ4 本手法は、データ生成やドメイン適応技術と比較して、トレーニングデータの性能と現実性の両面で優れているか？
• RQ5 アーキテクチャの変更なしに、単純な検出器（例：Mask R-CNN）が自己学習によって最先端の性能を達成できるか？

主な発見

• 本稿で提案する自己学習フレームワークは、実際のターゲットデータで微調整した場合、ICDAR2015でベースラインの最高性能を1.2%上回る84.2 F1を達成し、以前の最先端手法を上回った。
• MSRA-TD500では、15VIDをソースとして用い、ターゲットデータで自己学習することで、F1を70.0から79.1に向上させ、強力なドメイン適応能力を示した。
• 外部データを一切使用しなくても、ICDAR2015で81.0 F1を達成し、800kの合成画像を追加データとして使用する手法を上回った。
• データ拡張（AUG）を追加することで、ICDAR2015での性能は88.2 F1にまで向上し、文献に報告された最高の結果と同等またはそれを上回った。
• Gen-Loop手法により、画像のみのデータでも効果的な自己学習が可能となり、拡張済みデータを用いた場合、MSRA-TD500で84.3 F1を達成した。これは、データが限られた状況でも有効であることを示している。
• TMMは、複数のベンチマークとドメインにわたり一貫した性能向上が確認されたことから、偽ラベルのノイズを顕著に低減していることが裏付けられた。