[論文レビュー] Coarse to fine non-rigid registration: a chain of scale-specific neural networks for multimodal image alignment with application to remote sensing

Armand Zampieri, Guillaume Charpiat+1 more|arXiv (Cornell University)|Feb 27, 2018

Advanced Vision and Imaging参考文献 3被引用数 8

ひとこと要約

本論文は、勾配降下法による遅い最適化を回避し、線形時間で変形場を直接予測することで、マルチモーダルリモートセンシング画像の登録を実現する粗いから細かいスケールへの神経ネットワークチェーンを提案する。RGB画像と図面地図、道路ポリラインの間のアライメントにおいて最先端の性能を達成し、キーポoinマッチング手法を上回るが、多様なデータセットや解像度においても高速かつ高精度を維持する。

ABSTRACT

We tackle here the problem of multimodal image non-rigid registration, which is of prime importance in remote sensing and medical imaging. The difficulties encountered by classical registration approaches include feature design and slow optimization by gradient descent. By analyzing these methods, we note the significance of the notion of scale. We design easy-to-train, fully-convolutional neural networks able to learn scale-specific features. Once chained appropriately, they perform global registration in linear time, getting rid of gradient descent schemes by predicting directly the deformation.We show their performance in terms of quality and speed through various tasks of remote sensing multimodal image alignment. In particular, we are able to register correctly cadastral maps of buildings as well as road polylines onto RGB images, and outperform current keypoint matching methods.

研究の動機と目的

• RGB画像と図面地図などの、機械学習や地理情報分析を妨げるマルチモーダルリモートセンシング画像の不整合問題に対処する。
• 従来の登録手法の限界、特に遅い勾配降下最適化と手作業による特徴設計依存を克服する。
• 反復的精練を必要とせず、非剛性変形を直接的・エンドツーエンドに予測できるディープラーニングフレームワークを開発する。
• 建物の角や道路ポリラインなどの複雑な構造物を、多様なリモートセンシングデータセットで高精度にアライメント可能にする。
• 誤差のあるグランドトゥルースの自動登録を可能にすることで、大規模かつ高精度な学習データセットの構築を促進する。

提案手法

• 各スケールで特定の解像度に対応する完全畳み込み型のスケール特化型ニューラルネットワークのチェーンを設計し、それぞれが特定のスケールでの変形場を予測するように訓練する。
• 粗いから細かいスケール戦略を採用：低解像度ネットワークが大規模な変形を予測し、それを高解像度ネットワークが精錬する。
• 各ネットワークをピクセル単位の損失関数を用いてエンドツーエンドに訓練する。損失関数にはL2損失と正則化項を含む。
• スケール特化型ネットワーク間のスキップ接続を適用することで、精錬過程での細部の保持を図り、空間的整合性を確保する。
• 人工的なランダム変形を用いたデータ拡張を実施し、特にベクトルベースの図面地図のようなスパarsなモダリティにおいて一般化性能を向上させる。
• 建物のエッジやコーナー付近の領域を強調して損失を重み付けすることで、構造的特徴のアライメント精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スケール特化型ニューラルネットワークチェーンは、マルチモーダルリモートセンシング画像の非剛性登録において、古典的手法を上回る速度と精度を達成できるか？
• RQ2 エンドツーエンドのディープラーニングは、非剛性登録において反復的最適化の必要性をどれほど回避できるか？
• RQ3 このモデルは、解像度やモダリティタイプが異なる多様なリモートセンシングデータセットにどれほど一般化できるか？
• RQ4 この手法は、スパースなベクトルベースの図面データ（例：建物ポリゴンや道路ポリライン）を密度の高いRGB画像に効果的に登録できるか？
• RQ5 粗いから細かいスケール設計は、建物の角や道路網などの複雑な幾何的構造物のアライメントをどのように改善するか？

主な発見

• 提案手法は、RGB画像と図面地図、道路ポリラインの間のアライメントにおいて、フォレズおよびキタップスデータセットでキーポイントマッチング手法を上回る最先端の性能を達成した。
• Kittiデータセット（9 cm/ピクセル解像度）では、高解像度RGB画像とセマンティックラベルの間の登録に成功し、登録後90％以上のピクセルがサブピクセル未満の誤差に収束した。
• Kittiデータセットの誤差ヒストグラムでは、登録後の誤差が著しく低減しており、大多数のピクセルが0.5ピクセル以内の誤差範囲に収束した。
• モデルは他のタスク（例：ステレオビジョンにおける深度推定）にも良好に一般化され、最小限のチューニングで有望な結果を得た。
• スケール特化型ネットワークの使用により、勾配降下ベース手法に比べて著しく高速な線形時間推論が実現され、高い精度を維持した。
• 図面地図にコーナー認識チャネルを追加することで、共有壁を共有する隣接建物のアライメントが向上し、モデルの構造的特徴への感受性が裏付けられた。