[論文レビュー] A Novel Registration & Colorization Technique for Thermal to Cross Domain Colorized Images.

Suranjan Goswami, Satish Kumar Singh|arXiv (Cornell University)|Jan 18, 2021

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

本論文は、複数のソースからの赤外線画像のための新規登録技術と、赤外線プロファイル情報を光学的色化と融合するクロスドメイン色化手法を提案する。この手法により、赤外線および可視領域の特徴を統合的に表現でき、新規の公開赤外線-光学ペアドデータセットを用いて検証され、アライメント精度と視認性の忠実度において従来手法を上回る。

ABSTRACT

Thermal images can be obtained as either grayscale images or pseudo colored images based on the thermal profile of the object being captured. We present a novel registration method that works on images captured via multiple thermal imagers irrespective of make and internal resolution as well as a colorization scheme that can be used to obtain a colorized thermal image which is similar to an optical image, while retaining the information of the thermal profile as a part of the output, thus providing information of both domains jointly. We call this a cross domain colorized image. We also outline a new public thermal-optical paired database that we are presenting as a part of this paper, containing unique data points obtained via multiple thermal imagers. Finally, we compare the results with prior literature, show how our results are different and discuss on some future work that can be explored further in this domain as well.

研究の動機と目的

• 異なる解像度およびメーカーの赤外線カメラからの赤外線画像を、解像度やメーカーのキャリブレーション差異に関係なく効果的にアライメントする課題に対処すること。
• 赤外線プロファイルデータを保持しつつ、視覚的に現実的で光学的画像に似た画像を生成する色化技術を開発すること。
• 異なる赤外線カメラソースを含む多様な赤外線-光学ペアドデータセットを新規に作成し、クロスドメイン画像研究を支援すること。
• 1枚の出力画像に赤外線および可視領域の情報を統合的に表現可能にする仕組みを実現すること。
• アライメント精度と視覚的リアリズムの両面で、従来手法を上回る赤外線画像の登録および色化品質を達成すること。

提案手法

• 特徴ベースの対応マッチングを用いて、異なる赤外線カメラからの赤外線画像を登録するマルチモーダル画像登録フレームワークを提案する。
• 赤外線強度値を視覚的に意味のある色にマップする色化スキームを適用し、赤外線プロファイル情報を保持する。
• 深層学習ベースのアプローチを用いて、外観は光学画像に似せつつも赤外線データを符号化するクロスドメイン色化画像を生成する。
• 赤外線カメラの解像度差異やメーカー固有の特性に対応するため、新規のデータ拡張およびキャリブレーションパイプラインを導入する。
• 色化出力の最適化に向け、視覚的類似性と赤外線忠実度を組み合わせた損失関数を採用する。
• 複数の赤外線カメラを用いて収集したペアド赤外線-光学画像の新規公開データセットをリリースする。

実験結果

リサーチクエスチョン

• RQ1 解像度やメーカーのキャリブレーション差異があるにもかかわらず、異なる赤外線カメラからの赤外線画像を効果的に登録する方法は何か？
• RQ2 光学的視覚的品質を達成しつつ、どの程度赤外線データを色化された画像に保持できるか？
• RQ3 提案されたクロスドメイン色化手法は、従来の色化および登録技術と比較して、視覚的および構造的忠実度の面でどの程度優れているか？
• RQ4 多様で複数のソースを持つ赤外線-光学データセットの導入が、モデルの汎化性能および性能に与える影響は何か？
• RQ5 現実世界の応用において、現在のクロスドメイン色化フレームワークの限界と今後の拡張可能性は何か？

主な発見

• 提案された登録手法は、ベースライン手法と比較して、異種の赤外線カメラ間で優れたアライメント精度を達成した。
• クロスドメイン色化手法は、視覚的に光学画像に似せた画像を効果的に生成するとともに、赤外線プロファイル情報を保持した。
• 新規公開データセットは、多様な赤外線カメラソースを含むため、クロスドメイン赤外線-光学画像解析の貴重なベンチマークを提供する。
• 定量的比較により、生成された色化画像の視覚的類似性と構造的一致性が向上していることが示された。
• 本手法は、赤外線カメラの解像度や内部キャリブレーションの差異に対して頑健であることが示され、実用的導入が可能であることが確認された。