[論文レビュー] E2ETag: An End-to-End Trainable Method for Generating and Detecting Fiducial Markers

J. Brennan Peace, Eric Psota+2 more|arXiv (Cornell University)|May 28, 2021

Advanced Image and Video Retrieval Techniques被引用数 8

ひとこと要約

E2ETag は、微分可能画像補正および重ね合わせを用いて、フィducialマーカーの生成と検出を一括して最適化するエンドツーエンドで学習可能なフレームワークを提案する。バックプロパゲーション可能な補正を用いた合成学習により、ロバストなマーカー設計と検出器を学習することで、運動歪み、ノイズ、露出不良といった状況でも従来手法を上回る性能を発揮する。

ABSTRACT

Existing fiducial markers solutions are designed for efficient detection and decoding, however, their ability to stand out in natural environments is difficult to infer from relatively limited analysis. Furthermore, worsening performance in challenging image capture scenarios - such as poor exposure, motion blur, and off-axis viewing - sheds light on their limitations. E2ETag introduces an end-to-end trainable method for designing fiducial markers and a complimentary detector. By introducing back-propagatable marker augmentation and superimposition into training, the method learns to generate markers that can be detected and classified in challenging real-world environments using a fully convolutional detector network. Results demonstrate that E2ETag outperforms existing methods in ideal conditions and performs much better in the presence of motion blur, contrast fluctuations, noise, and off-axis viewing angles. Source code and trained models are available at https://github.com/jbpeace/E2ETag.

研究の動機と目的

• 運動歪み、ノイズ、露出不良といった厳しい撮影条件下における従来のフィducialマーカーの限界を解消すること。
• 現実世界の視覚的劣化に適応できない静的でヒューリスティックな従来マーカー設計の課題を克服すること。
• 多様な環境下でも耐性を持つために、マーカー生成と検出器性能を統合的かつ学習可能に最適化するシステムを構築すること。
• 実際のデータを必要とせず、現実世界の画像取得状況をシミュレートするバックプロパゲーション可能な補正を用いた合成学習を可能にする。
• 完全畳み込みニューラルネットワーク（FCN）検出器を用いて、制御された現実的な歪みのもとでマーカーの耐性を評価するフレームワークを提供すること。

提案手法

• 1-Hotベクトル表現から、転置畳み込みネットワークを用いてフィducialマーカーを生成する。
• 訓練中に、運動歪み、コントラストの変動、ホワイトバランスのシフトといったバックプロパゲーション可能な画像補正を適用し、現実世界の劣化をシミュレートする。
• 微分可能重ね合わせを用いて生成されたマーカーを実画像に重ねることで、生成器と検出器の両方をエンドツーエンドで学習可能にする。
• 1回の順伝播でマーカーの位置、識別子、姿勢を予測する完全畳み込みニューラルネットワーク（FCN）検出器を採用する。
• 実際のマーカー配置データに依存せず、ランダムに補正を施した合成データを用いて、システム全体をエンドツーエンドで学習する。
• 位置推定、分類、姿勢推定の監視を統合した微分可能損失関数を用い、マーカーおよび検出器の両方のコンponentを最適化する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習可能なシステムは、現実世界の条件下での耐性向上を目的に、フィducialマーカー設計と検出器性能を同時に最適化できるか？
• RQ2 バックプロパゲーション可能な補正を用いた合成学習は、歪みやノイズといった現実世界の画像歪みへの一般化をどの程度効果的に可能にするか？
• RQ3 本手法は、運動歪みや露出不良といった厳しい撮影条件下で、従来のフィducialマーカー（例：AprilTag、ChromaTag）をどの程度上回るか？
• RQ4 合成データでのみ学習したにもかかわらず、実画像への一般化は可能か？特に、実データでのファインチューニングなしで性能を発揮できるか？
• RQ5 バックプロパゲーション可能な重ね合わせの統合は、非微分可能補正と比較して、マーカーの検出可能性および耐性をどの程度向上させるか？

主な発見

• E2ETag は、全テスト補正条件下で平均精度 0.9333、平均再現率 0.5600 を達成し、運動歪みおよびコントラスト変動下で AprilTag や ChromaTag を顕著に上回る性能を示した。
• 運動歪み下では、E2ETag は精度 0.9583、再現率 0.3943 を達成したのに対し、AprilTag は精度 0.4375、再現率 0.1200 にとどまり、より優れた耐性を示した。
• 低コントラストおよびノイズ混在状況下では、E2ETag は精度 0.9439、再現率 0.5771 を達成したのに対し、ChromaTag は精度 0.0039、再現率 0.1143 にとどまり、著しく優れた性能を示した。
• 可視化では、200%拡大画像において AprilTag や ChromaTag が失敗する困難な検出事例でも、E2ETag がマーカーを正しく検出していることが確認された。
• 合成データでのみ学習したにもかかわらず、E2ETag は実画像への一般化が良好であり、実データでのファインチューニングを施せばさらに性能が向上した。
• RTX 2080 Ti GPU を用いた 640×640 フレームでは 10 FPS で動作し、実用的な可能性を示したが、AprilTag よりも高速な 900 FPS の最適化済みベースラインと比較すると遅い。