[논문 리뷰] A Deeper Look into Hybrid Images

Jimut Bahan Pal|arXiv (Cornell University)|2020. 01. 30.

Advanced Image Fusion Techniques참고 문헌 2인용 수 4

한 줄 요약

이 논문은 가우시안 및 라플라시안 오브 가우시안 필터를 사용하여 저역통과 및 고역통과 필터링된 이미지를 조합함으로써, 가까이서 보면 한 이미지로 보이고 멀리서 보면 다른 이미지로 보이는 하이브리드 이미지의 생성 및 최적화를 조사한다. 주요 기여는 매개변수 간 상충 관계, 특히 시그마 값과 블렌딩 가중치에 대한 경험적 분석으로, 최적의 결과를 얻기 위해서는 수동 조정이 필요하며, 이는 계산 비용 제약으로 인해 실시간 적용 가능성이 제한됨을 보여준다.

ABSTRACT

$Hybrid$ $images$ was first introduced by Olivia et al., that produced static images with two interpretations such that the images changes as a function of viewing distance. Hybrid images are built by studying human processing of multiscale images and are motivated by masking studies in visual perception. The first introduction of hybrid images showed that two images can be blend together with a high pass filter and a low pass filter in such a way that when the blended image is viewed from a distance, the high pass filter fades away and the low pass filter becomes prominent. Our main aim here is to study and review the original paper by changing and tweaking certain parameters to see how they affect the quality of the blended image produced. We have used exhaustively different set of images and filters to see how they function and whether this can be used in a real time system or not.

연구 동기 및 목표

• 다양한 시그마 값과 블렌딩 가중치가 하이브리드 이미지의 인지적 품질에 미치는 영향을 분석하기 위해.
• 저역통과 및 고역통과 필터를 사용한 하이브리드 이미지 생성의 계산 비용을 조사하기 위해.
• 실시간 시스템에서 하이브리드 이미지 생성의 실현 가능성을 평가하기 위해.
• 두 이미지 간 거리에 따라 명확한 시각적 전환을 달성하기 위한 매개변수 튜닝 전략을 탐색하기 위해.
• 이미지 대trast 및 색상이 하이브리드 이미지 구성 요소의 가시성에 미치는 영향을 평가하기 위해.

제안 방법

• 연구는 다양한 시그마 값(예: σ = 10, 20)을 사용하여 두 소스 이미지에 대해 가우시안 저역통과 필터와 라플라시안 오브 가우시안(LoG) 고역통과 필터를 적용한다.
• 최적 결과를 얻기 위해 한 사례 연구에서 저역통과 이미지는 0.85의 가중치, 고역통과 이미지는 0.15의 가중치를 사용하여 가중 덧셈으로 조합한다.
• 자동 스크립트는 여러 커널 크기(2에서 30까지)와 이미지 치수에서의 계산 시간과 이미지 크기를 측정한다.
• 시스템은 특정 하드웨어(Figure 4.1)를 갖춘 기계에서 테스트되었으며, 시간 대 이미지 크기의 관계를 로깅하였다.
• 연구자들은 특히 색상 대비가 뚜렷한 이미지의 경우, 최적의 블렌딩 가중치를 결정하기 위해 시행착오 방식을 사용하였다.
• 이 방법은 공간 주파수 분리에 위해 Weierstrass 변환과 2차원 가우시안 함수를 사용한 컨볼루션 기반 필터링을 포함한다.

실험 결과

연구 질문

• RQ1 다양한 시그마 값은 하이브리드 이미지의 선명도와 인지적 전환에 어떤 영향을 미치는가?
• RQ2 저역통과 및 고역통과 필터링된 이미지 간 최적의 블렌딩 가중치 비율은 어떤가? 이는 다양한 시야 거리에서 명확한 시각적 인지에 기여하는가?
• RQ3 이미지 크기와 필터 커널 크기는 하이브리드 이미지 생성의 계산 시간에 어떤 영향을 미치는가?
• RQ4 색상 대비와 이미지 콘텐츠는 하이브리드 이미지에서 두 해석의 가시성에 얼마나 큰 영향을 미치는가?
• RQ5 현재 계산 방법을 사용하여 실시간 응용에 충분히 효율적인 하이브리드 이미지 생성이 가능할 수 있는가?

주요 결과

• 시그마 값 10은 스와미 비브카난다(저역통과)와 라마크리슈나(고역통과)의 경우 균형 잡힌 하이브리드 이미지를 생성하였으며, 최적의 블렌딩은 저역통과 0.85×, 고역통과 0.15×로 설정되었다.
• 1500×1500 크기의 이미지는 σ = 30일 때 약 1000초가 소요되어 높은 계산 비용을 보였다.
• 저역통과 필터링이 고역통과 필터링보다 더 오래 걸렸는데, 이는 캐싱 또는 NumPy 최적화 효과 때문일 수 있다.
• 최적의 블렌딩 가중치를 자동으로 결정할 수 있는 방법이 없었으며, 시행착오를 통한 수동 조정이 필요했다.
• 시그마 값과 블렌딩 가중치 사이에 상충 관계가 존재한다: 높은 시그마 값은 블러를 증가시키며, 이는 거리에서 저역통과 이미지가 명확하게 보이도록 하기 위해 더 높은 가중치가 필요함을 의미한다.
• 이 방법은 특히 큰 이미지나 높은 시그마 값에서 계산 시간이 너무 오래 걸려 실시간 시스템에 적용 가능하지 않다.