[論文レビュー] GA-DAN: Geometry-Aware Domain Adaptation Network for Scene Text Detection and Recognition

Fangneng Zhan, Chuhui Xue+1 more|arXiv (Cornell University)|Jul 23, 2019

Handwritten Text Recognition Techniques参考文献 74被引用数 5

ひとこと要約

本稿では、シーンテキスト検出および認識のための、幾何学的および外観的空間におけるドメインシフトを同時にモデル化する新規なジオメトリーアウェア・ドメイン適応ネットワーク、GA-DANを提案する。マルチモーダル空間学習と分離型サイクル整合性損失を採用することで、ドメイン間で高精細な適応画像を生成し、SVTPで51.7%、CUTEで43.1%の認識タスクにおいて最先端性能を達成した。

ABSTRACT

Recent adversarial learning research has achieved very impressive progress for modelling cross-domain data shifts in appearance space but its counterpart in modelling cross-domain shifts in geometry space lags far behind. This paper presents an innovative Geometry-Aware Domain Adaptation Network (GA-DAN) that is capable of modelling cross-domain shifts concurrently in both geometry space and appearance space and realistically converting images across domains with very different characteristics. In the proposed GA-DAN, a novel multi-modal spatial learning technique is designed which converts a source-domain image into multiple images of different spatial views as in the target domain. A new disentangled cycle-consistency loss is introduced which balances the cycle consistency in appearance and geometry spaces and improves the learning of the whole network greatly. The proposed GA-DAN has been evaluated for the classic scene text detection and recognition tasks, and experiments show that the domain-adapted images achieve superior scene text detection and recognition performance while applied to network training.

研究の動機と目的

• 既存の教師なしドメイン適応手法において、幾何学的および外観的空間におけるドメインシフトの同時モデリングが不足している問題に対処する。
• 視覚的歪み（例：透視、ぼやけ）が顕著に異なるソースドメインとターゲットドメイン間で、シーンテキストタスクの性能劣化を克服する。
• ソースドメインのシーンテキスト画像を、ターゲットドメインの複数のビューに現実的に変換するが、意味的および構造的整合性を保持する手法を開発する。
• ターゲットドメインの特性をよりよく反映する多様なドメイン適応画像を生成することで、学習の一般化性能を向上させる。
• 幾何学的および外観的空間における適応をバランスよく保つために、分離型サイクル整合性損失を導入し、学習の安定性と性能を向上させる。

提案手法

• 複数の空間変換（例：透視、アフィン）をソース画像に適用するマルチモーダル空間学習メカニズムを提案し、多様なターゲットに類似したビューを生成する。
• 実際の空間変換と偽物の空間変換を区別する空間変換識別器を導入し、幾何学的空間における adversarial 学習を可能にする。
• 外観空間と幾何学的空間の両方で一貫性を別々に強制する分離型サイクル整合性損失を設計し、両ドメイン間の干渉を防ぐ。
• 2つの生成器（G_X と G_Y）と2つの識別器（D_X と D_Y）を備えたサイクル-GANに類似したフレームワークを採用し、G_X はソースドメインからターゲットドメインにマッピングし、G_Y は逆方向のマッピングを実行する。
• 特に曲がりや透視歪みを効果的に扱えるように、薄板スプライン（TPS）を用いて柔軟な空間変換モデリングを実現する。
• 複数の空間ビューから得た適応画像を、下流のシーンテキスト検出および認識モデルの学習データとして適用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 幾何学的および外観的空間における同時適応が、ドメインシフト下でのシーンテキスト検出および認識に顕著な向上をもたらすか？
• RQ2 1枚のソース画像から複数のターゲットに類似したビューを生成するマルチモーダル空間学習は、単一ビュー適応よりも優れた一般化性能をもたらすか？
• RQ3 分離型サイクル整合性損失は、幾何学的および外観的空間における学習を効果的にバランスさせ、安定化できるか？
• RQ4 CycleGAN、CyCADA、SimGANといった最先端のドメイン適応手法と比較して、GA-DANはシーンテキストデータにおける幾何的差異をどのように処理するか？
• RQ5 GA-DANを用いたドメイン適応は、CUTE や SVTP のような小規模なターゲットドメインのシーンテキスト認識ベンチマークで、どの程度性能を向上させるか？

主な発見

• 1対10の適応（GA-DAN [10 AD]）を用いたGA-DANは、SVTPデータセットで51.7%の精度を達成し、ベースライン（42.5%）およびCyCADA（43.6%）やCycleGAN（43.0%）といったSOTA手法を顕著に上回った。
• 分離型サイクル整合性損失（GA-DAN [WM]）は、非分離型バージョン（GA-DAN [WD]）よりもSVTPで3.1%の性能向上を示し、幾何学的および外観的学習のバランスを効果的にとることの有効性を裏付けた。
• 外観適応を除いた空間変換のみを用いたGA-DAN [WA] は、SVTPで36.1%の精度を達成し、ベースラインおよびランダム変換ベースラインを上回り、正確な空間モデリングの価値を実証した。
• 10ビューごとのマルチモーダル空間学習は、1対1適応（GA-DAN [10 AD] 対 GA-DAN [WM]）と比較して性能を向上させ、多様な空間ビューがモデルの一般化を強化することを示した。
• GA-DANは、図5で視覚的に確認できるように、正しい幾何学的特徴（例：透視、曲がり）と外観的特徴（例：ぼやけ、照明）を併せ持つ現実的な画像を生成できた。これに対して、CycleGANのような手法は外観のみを適応させるにとどまり、幾何学的特徴の適応が不十分であった。
• CoGAN や UNIT といった手法は、外観の過剰適応によりテキストの意味的構造が変化し、認識性が低下するため、一般化に失敗した。これは、適応において幾何学的認識の重要性を強調するものである。