[논문 리뷰] PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion

Yu Fu, Tianyang Xu외 2명|arXiv (Cornell University)|2021. 07. 29.

Advanced Image Fusion Techniques참고 문헌 46인용 수 44

한 줄 요약

본 논문은 로컬 Patch Transformer와 글로벌 Pyramid Transformer를 결합하여 저수준 비전 작업에 필요한 다중 스케일, 다중 레벨 특징을 추출하는 Pyramid Patch Transformer(PPT)를 제안하고 이를 이미지 융합에 적용하여 경쟁력 있는 결과를 보인다.

ABSTRACT

The Transformer architecture has witnessed a rapid development in recent years, outperforming the CNN architectures in many computer vision tasks, as exemplified by the Vision Transformers (ViT) for image classification. However, existing visual transformer models aim to extract semantic information for high-level tasks, such as classification and detection.These methods ignore the importance of the spatial resolution of the input image, thus sacrificing the local correlation information of neighboring pixels. In this paper, we propose a Patch Pyramid Transformer(PPT) to effectively address the above issues.Specifically, we first design a Patch Transformer to transform the image into a sequence of patches, where transformer encoding is performed for each patch to extract local representations. In addition, we construct a Pyramid Transformer to effectively extract the non-local information from the entire image. After obtaining a set of multi-scale, multi-dimensional, and multi-angle features of the original image, we design the image reconstruction network to ensure that the features can be reconstructed into the original input. To validate the effectiveness, we apply the proposed Patch Pyramid Transformer to image fusion tasks. The experimental results demonstrate its superior performance, compared to the state-of-the-art fusion approaches, achieving the best results on several evaluation indicators. Thanks to the underlying representational capacity of the PPT network, it can directly be applied to different image fusion tasks without redesigning or retraining the network.

연구 동기 및 목표

• 로컬 픽셀 수준 정보를 보존함으로써 저수준 비전 작업에서 순수 글로벌 트랜스포머의 한계를 동기 부여하고 해결한다.
• 패치 내의 픽셀 수준 상관관계를 모델링하기 위한 Patch Transformer를 개발한다.
• 패치 간의 글로벌하고 다중 스케일 관계를 포착하기 위한 Pyramid Transformer를 구성한다.
• Patch와 Pyramid Transformer를 통합하여 강건한 이미지 재구성을 위한 오토인코더를 구성한다.
• 작업별 재설계 없이 다양한 이미지 융합 작업에서 PPT의 효과를 입증한다.

제안 방법

• 패치를 구성하는 각 패치를 트랜스포머 인코딩으로 처리하여 패치 내 모든 픽셀의 로컬 표현을 추출하는 Patch Transformer를 도입한다.
• 다중 스케일에서 다운샘플링하고 Patch Transformer를 적용한 후, 업샘플링과 특성 연결로 다중 스케일 표현을 형성하는 Pyramid Transformer를 구축한다.
• Pyramid 및 Patch Transformer가 인코더를 형성하고 MLP 기반 디코더가 이미지를 재구성하는 오토인코더 아키텍처를 구성하며(손실 = MSE).
• PPT 인코더를 다중소스 이미지(예: 적외선/가시광) 에 대해 시암쌘 네트워크 설정에서 적용하고 채널 단위 융합 전략을 통해 특징(F_fused)을 융합한다.
• 디코딩하여 융합 이미지를 만들기 전에 특징을 적응적으로 결합하기 위해 세 가지 융합 전략(평균, 최대, Softmax)을 사용한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 모델을 로컬 픽셀 정보를 패치 내에 보존함으로써 저수준 비전 작업에 효과적으로 사용할 수 있는가?
• RQ2 다중 스케일 Pyramid Transformer가 로컬 텍스처 디테일을 손실하지 않고 글로벌 컨텍스트 모델링을 향상시키나?
• RQ3 PPT 기반 특징 추출기가 다중 소스 이미지 융합에서 적외선/가시, 다중 초점, 의학 데이터셋에 대해 최첨단 방법들과 비교해 얼마나 잘 수행하는가?
• RQ4 제안된 아키텍처가 네트워크 재설계 없이 다양한 이미지 융합 작업에 일반적으로 적용될 만큼 충분히 일반적인가?
• RQ5 어떤 융합 전략(평균, 최대, Softmax)이 데이터셋 전반에서 가장 우수한 정량적 융합 지표를 제공하는가?

주요 결과

• PPT는 로컬 텍스처와 글로벌 맥락 특징을 모두 추출할 수 있어 효과적인 저수준 비전 표현을 가능하게 한다.
• Pyramid Patch Transformer는 CNN 없이도 다중 스케일 특징을 제공하여 융합 품질을 향상시킨다.
• 적외선/가시 영상 융합 작업에서 PPT 융합은 TNO, RoadScene 등의 데이터셋에서 여러 지표에서 상위 2위에 랭크된다.
• 다중 초점 및 기타 융합 작업에서 본 방법은 논문 비교 분석에 보고된 바와 같이 광범위한 최첨단 방법들과 비교하여 경쟁력 있는 또는 우수한 점수를 달성한다.
• 전통적 대규모 트랜스포머에 비해 계산 자원이 덜 필요하고 COCO/Imagenet 사전학습을 활용하면서도 보통의 하드웨어로 작동할 수 있다.
• 저자들은 PPT Fusion이 여러 정량 지표(SCD, SSIM, CC, FMI_pixel 등)에서 최상위 또는 거의 최상위를 달성하고 양호한 정성적 융합 결과를 보여준다고 보고한다.