[논문 리뷰] A Novel Registration & Colorization Technique for Thermal to Cross Domain Colorized Images.

Suranjan Goswami, Satish Kumar Singh|arXiv (Cornell University)|2021. 01. 18.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 다중 소스 열화상 영상에 대한 새로운 캘리브레이션 기법과 열적 프로파일 정보를 광학적 색조화와 융합하는 교차 도메인 색조화 방법을 소개한다. 이 방법은 열화상 및 가시광선 도메인 특징의 통합 표현을 가능하게 하며, 새로운 공개된 열화상-광학 쌍화된 데이터셋을 통해 검증되었으며, 정렬 정확도와 시각적 사실성에서 이전 방법들을 능가한다.

ABSTRACT

Thermal images can be obtained as either grayscale images or pseudo colored images based on the thermal profile of the object being captured. We present a novel registration method that works on images captured via multiple thermal imagers irrespective of make and internal resolution as well as a colorization scheme that can be used to obtain a colorized thermal image which is similar to an optical image, while retaining the information of the thermal profile as a part of the output, thus providing information of both domains jointly. We call this a cross domain colorized image. We also outline a new public thermal-optical paired database that we are presenting as a part of this paper, containing unique data points obtained via multiple thermal imagers. Finally, we compare the results with prior literature, show how our results are different and discuss on some future work that can be explored further in this domain as well.

연구 동기 및 목표

• 다양한 해상도와 제조업체를 가진 열화상 카메라에서 기록된 열화상 영상을 정렬하는 데 도전하는 것.
• 열적 프로파일 데이터를 유지하면서도 시각적으로 현실적인 광학적 영상과 유사한 결과를 생성하는 색조화 기법을 개발하는 것.
• 다양한 열화상 영상 소스를 포함한 새로운 공개된 열화상-광학 쌍화된 데이터셋을 구축하여 교차 도메인 영상 연구를 지원하는 것.
• 단일 출력 영상에서 열화상 및 가시광선 도메인 정보를 통합 표현할 수 있도록 하는 것.
• 개선된 정렬 정확도와 시각적 사실성으로 기존 방법들을 능가하는 열화상 영상 정렬 및 색조화 품질을 달성하는 것.

제안 방법

• 다양한 열화상 카메라에서 기록된 열화상 영상을 특징 기반 대응 매칭을 통해 정렬하는 다중 모odal 영상 정렬 프레임워크를 제안한다.
• 열강도 값을 시각적으로 의미 있는 색상으로 매핑하는 색조화 기법을 적용하여 열적 프로파일 정보를 유지한다.
• 깊이 학습 기반 접근을 활용해 외관상으로는 광학 영상과 유사하지만 열정보를 포함하는 교차 도메인 색조화 영상을 생성한다.
• 열화상 카메라의 해상도 차이 및 제조사 고유의 특성에 대응하기 위해 새로운 데이터 증강 및 캘리브레이션 파이프라인을 도입한다.
• 색조화 출력을 최적화하기 위해 시각적 유사도와 열적 정확도를 조합한 손실 함수를 활용한다.
• 향후 연구를 지원하기 위해 다수의 열화상 카메라를 사용해 촬영한 쌍화된 열화상 및 광학 영상의 새로운 공개 데이터셋을 제공한다.

실험 결과

연구 질문

• RQ1 해상도와 제조사 캘리브레이션의 차이가 있는 다양한 열화상 카메라에서 기록된 열화상 영상을 어떻게 효과적으로 정렬할 수 있는가?
• RQ2 광학 영상과 유사한 시각적 품질을 달성하면서도 열적 데이터를 얼마나 잘 유지할 수 있는가?
• RQ3 제안된 교차 도메인 색조화 방법은 시각적 및 구조적 정확도 측면에서 기존의 색조화 및 정렬 기법과 비교해 어떻게 성능을 발휘하는가?
• RQ4 다양하고 다중 소스의 열화상-광학 데이터셋이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 현실 세계 응용에서 현재의 교차 도메인 색조화 프레임워크의 한계와 잠재적 확장 가능성은 무엇인가?

주요 결과

• 제안된 정렬 방법은 기준 기법 대비 이질적인 열화상 카메라 간에 뛰어난 정렬 정확도를 달성한다.
• 교차 도메인 색조화 방법은 열적 프로파일 정보를 유지하면서도 시각적으로 광학 영상과 유사한 영상을 성공적으로 생성한다.
• 새로운 공개 데이터셋은 다양한 열화상 영상 소스를 포함하여 교차 도메인 열화상-광학 영상 분석에 유용한 기준을 제공한다.
• 정량적 비교 결과, 생성된 색조화 영상에서 시각적 유사도와 구조적 일致성이 향상됨을 확인할 수 있다.
• 해상도 및 내부 캘리브레이션의 변동성에 대해 뛰어난 내성성을 보이며 실용적 구현이 가능함을 입증한다.