[論文レビュー] AutoCorrect: Deep Inductive Alignment of Noisy Geometric Annotations

Honglie Chen, Weidi Xie+2 more|arXiv (Cornell University)|Aug 14, 2019

Remote Sensing and LiDAR Applications参考文献 29被引用数 9

ひとこと要約

AutoCorrectは、一貫性損失と空間メモリマップを用いて、地上・衛星画像における幾何的アノテーションノイズを自動で補正する深層学習手法を提案する。教師なし学習により、正例アノテーションが不要である。INRIA Buildingsおよび新規のRailway Tracksデータセットにおいて、最先端の性能を達成しており、40%のアノテーションが重度に歪められても、先行手法を上回る。

ABSTRACT

We propose AutoCorrect, a method to automatically learn object-annotation alignments from a dataset with annotations affected by geometric noise. The method is based on a consistency loss that enables deep neural networks to be trained, given only noisy annotations as input, to correct the annotations. When some noise-free annotations are available, we show that the consistency loss reduces to a stricter self-supervised loss. We also show that the method can implicitly leverage object symmetries to reduce the ambiguity arising in correcting noisy annotations. When multiple object-annotation pairs are present in an image, we introduce a spatial memory map that allows the network to correct annotations sequentially, one at a time, while accounting for all other annotations in the image and corrections performed so far. Through ablation, we show the benefit of these contributions, demonstrating excellent results on geo-spatial imagery. Specifically, we show results using a new Railway tracks dataset as well as the public INRIA Buildings benchmarks, achieving new state-of-the-art results for the latter.

研究の動機と目的

• 手動ラベリングが極めて高コストである大規模な地理空間データセットにおける幾何的アノテーションノイズの補正という課題に対処すること。
• ノイズのない正例アノテーションを一切必要としない、深層ニューラルネットワークのトレーニングを可能にすること。
• 1枚の画像に複数のオブジェクトインスタンスが存在し、それらの関連付けが曖昧で、各インスタンスにランダムかつ相関のないノイズが存在する状況を扱うこと。
• オブジェクトの対称性（例：道路）を活用し、空間メモリマップによる逐次的補正によってアライメント精度を向上させること。
• 航空画像におけるアノテーション補正の評価のため、鉄道線路に関する新規ベンチマークを確立すること。

提案手法

• 正例アノテーションが不要なトレーニングを可能にするために、複数のノイズあり予測間の幾何的整合性を強制する一貫性損失を採用する。
• すべてのアノテーションと過去の補正履歴を追跡する空間メモリマップを導入し、文脈を考慮した逐次的補正を可能にする。
• グローバルな変位場ではなく、オブジェクト単位での変換を適用することで、より正確で局所的な補正を可能にする。
• オブジェクトの対称性（例：道路）を暗黙の制約として活用し、補正の曖昧さを低減する。
• 一部のクリーンなアノテーションが利用可能な場合、一貫性損失と自己教師あり損失を組み合わせることで、より高いロバストネスを実現する。
• 手動でのフィルタリングやクリーンデータのキュレーションが不要な、ノイズありアノテーションのみを用いたエンドツーエンドのトレーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 教師なし学習により、正例アノテーションが一切ない状況下でも、深層ニューラルネットワークが衛星画像における幾何的アノテーションノイズを補正できるか。
• RQ2 正例ラベルが存在しない状況下で、一貫性損失が自己教師あり学習を有効に可能にするか。
• RQ3 オブジェクトの対称性が、補正の精度とロバストネスをどの程度向上できるか。
• RQ4 空間メモリマップは、複数のオブジェクトインスタンスの逐次的補正を効果的に管理し、重複関連付けを回避できるか。
• RQ5 40%のアノテーションが歪められた大規模でノイズの多いデータセットでトレーニングされた場合、AutoCorrectは先行手法に比べてどの程度の性能を示すか。

主な発見

• INRIA Buildingsデータセットにおいて、すべてのIoU閾値で先行手法を上回り、インスタンスレベルの補正において顕著な精度向上を達成した。
• 新規のRailway Tracksデータセットでは、最先端の結果を達成し、複雑で現実世界のノイズに強い汎用性を示した。
• 35,000枚の画像（40%のアノテーションが歪められていた）でトレーニングした場合、AutoCorrectは0.445のIoUを達成し、わずか3,000枚のクリーン画像で構成される手動フィルタリング済みデータセット（0.436 IoU）と同等の性能を示した。
• 一貫性損失は、クリーンデータが限られる小規模データセット（INRIA Buildings）においても、効果的なデータ拡張として機能し、性能向上に寄与した。
• 定型的および複雑な形状のオブジェクト（遮蔽や影があるものも含む）に対して、定性的な結果からも、成功裏に補正が可能であることが示された。
• 空間メモリマップにより、ノイズがオブジェクト間でランダムかつ相関のない状況下でも、複数インスタンスの正確な逐次的補正が可能となった。