[論文レビュー] There and Back Again: Self-supervised Multispectral Correspondence Estimation

Celyn Walters, Oscar Méndez+2 more|arXiv (Cornell University)|Mar 19, 2021

Advanced Vision and Imaging参考文献 58被引用数 8

ひとこと要約

この論文は、サイクル整合性損失と共有特徴学習を用いた自己教師あり、スペクトルに依存しないフレームワークを提案し、密なマルチスペクトル対応推定を実現する。教師なしでRGB-FIR、RGB-NIR、RGB-RGBの対応タスクにおいて最先端の性能を達成し、画像ペアとサイクル整合性のみを用いて、スペクトル間で一般化を実現している。

ABSTRACT

Across a wide range of applications, from autonomous vehicles to medical imaging, multi-spectral images provide an opportunity to extract additional information not present in color images. One of the most important steps in making this information readily available is the accurate estimation of dense correspondences between different spectra. Due to the nature of cross-spectral images, most correspondence solving techniques for the visual domain are simply not applicable. Furthermore, most cross-spectral techniques utilize spectra-specific characteristics to perform the alignment. In this work, we aim to address the dense correspondence estimation problem in a way that generalizes to more than one spectrum. We do this by introducing a novel cycle-consistency metric that allows us to self-supervise. This, combined with our spectra-agnostic loss functions, allows us to train the same network across multiple spectra. We demonstrate our approach on the challenging task of dense RGB-FIR correspondence estimation. We also show the performance of our unmodified network on the cases of RGB-NIR and RGB-RGB, where we achieve higher accuracy than similar self-supervised approaches. Our work shows that cross-spectral correspondence estimation can be solved in a common framework that learns to generalize alignment across spectra.

研究の動機と目的

• 複数のスペクトルに跨る密なクロススペクトル対応推定のための汎用的で自己教師ありの手法の不足を補う。
• アノテート済みマルチスペクトルデータセットの不足を克服し、教師ありフローのアノテーションの必要性を排除する。
• 同じ損失関数を用いて、RGB-FIR、RGB-NIR、RGB-RGBなどの異なるスペクトルペアに一般化可能な単一のネットワークを実現する。
• サイクル整合性と特徴ベース損失を活用することで、スペクトル間の光度的不一致に対する耐性を高める。
• 自己教師ありの枠組みで、ほとんど注目されていないが、マルチスペクトルビジョンにおいて極めて重要な課題であるRGB-FIR対応の高精度な推定を実現する。

提案手法

• 異なるスペクトルからのペア画像を処理するためのサイアムーズ型の二重ネットワークアーキテクチャを提案する。
• 双方向のフローベースの推定を強制するサイクル整合性損失を採用：AからBへのフロー予測と、BからAへの逆方向のフロー予測を実行し、元の画像の再構成損失を伴う。
• スペクトル差に依存しない損失関数（例：特徴損失、光度損失）を導入し、スペクトル差に不変であるように設計する。
• 共通のエンコーダーを用いてスペクトル間で特徴を抽出し、スペクトルペア間での転移学習を可能にする。
• 予測されたオプティカルフローを用いて画像を再構成するための微分可能なワーピングレイヤーを適用し、エンドツーエンドの学習を可能にする。
• 高価な教師ありアノテーションを必要とせず、画像ペアのみを用いて自己教師ありでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 同じスペクトルペア（例：RGB-FIR、RGB-NIR、RGB-RGB）に特化した調整なしに、1つのディープネットワークが複数のスペクトルペアに一般化できるか？
• RQ2 教師ありデータが利用できない状況下で、サイクル整合性損失が自己教師あり学習を有効に機能させるか？
• RQ3 スペクトルに依存しない損失関数は、既存の自己教師あり手法と比較して、挑戦的なRGB-FIR対応タスクの性能を向上させられるか？
• RQ4 提案手法は、自己教師あり設定下で、RGB-NIRおよびRGB-RGB対応タスクにおいて、既存の手法を上回る性能を示せるか？
• RQ5 このフレームワークは、多様なスペクトルペアにおいて、微細なディテールと構造的一致性をどの程度保持できるか？

主な発見

• 提案手法は、挑戦的でほとんど研究が進んでいない設定であるRGB-FIR対応タスクで、最先端の性能を達成した。
• RGB-NIR対応タスクにおいても、既存の自己教師あり手法を上回り、スペクトル間での強力な一般化能力を示した。
• RGB-RGB対応タスクにおいても、競争力のある結果を達成し、同じアーキテクチャが同じスペクトル内でも良好に一般化できることを示した。
• サイクル整合性損失は、特にテクスチャが乏しい領域や高コントラスト領域において、再構成精度とフローの一貫性を顕著に向上させた。
• スペクトルに依存しない損失関数は、スペクトルバイアスを効果的に低減し、異なるイメージングモダリティ間で転送可能な特徴を学習可能にした。
• 再トレーニングやファインチューニングなしに、スペクトルペア間で一般化が可能であることを示し、マルチスペクトル対応のための統合フレームワークの実現可能性を裏付けた。