[論文レビュー] PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion

Yu Fu, Tianyang Xu+2 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Image Fusion Techniques参考文献 46被引用数 44

ひとこと要約

本論文は、局所 Patch Transformer と global Pyramid Transformer を組み合わせて、低レベル視覚タスクの多スケール・多レベル特徴を抽出する Pyramid Patch Transformer (PPT) を提案し、それを画像融合に適用して競争力のある結果を示す。

ABSTRACT

The Transformer architecture has witnessed a rapid development in recent years, outperforming the CNN architectures in many computer vision tasks, as exemplified by the Vision Transformers (ViT) for image classification. However, existing visual transformer models aim to extract semantic information for high-level tasks, such as classification and detection.These methods ignore the importance of the spatial resolution of the input image, thus sacrificing the local correlation information of neighboring pixels. In this paper, we propose a Patch Pyramid Transformer(PPT) to effectively address the above issues.Specifically, we first design a Patch Transformer to transform the image into a sequence of patches, where transformer encoding is performed for each patch to extract local representations. In addition, we construct a Pyramid Transformer to effectively extract the non-local information from the entire image. After obtaining a set of multi-scale, multi-dimensional, and multi-angle features of the original image, we design the image reconstruction network to ensure that the features can be reconstructed into the original input. To validate the effectiveness, we apply the proposed Patch Pyramid Transformer to image fusion tasks. The experimental results demonstrate its superior performance, compared to the state-of-the-art fusion approaches, achieving the best results on several evaluation indicators. Thanks to the underlying representational capacity of the PPT network, it can directly be applied to different image fusion tasks without redesigning or retraining the network.

研究の動機と目的

• 純粋なグローバルトランスフォーマーが低レベル視覚タスクで局所ピクセルレベル情報を保持するという限界を動機づけ、対処する。
• パッチ内のピクセルレベルの相関をモデル化する Patch Transformer の開発。
• パッチ間のグローバルで多尺度な関係を捉える Pyramid Transformer の構築。
• Patch and Pyramid Transformers を組み込んだオートエンコーダを用いて頑健な画像再構成。
• タスク固有の再設計を必要とせず、さまざまな画像融合タスクにおける PPT の有効性を示す。

提案手法

• Patch Transformer を導入し、各パッチをトランスフォーマーエンコードで処理して、パッチ内のすべてのピクセルの局所表現を抽出する。
• 多段階でダウンサンプリングして Patch Transformer を適用し、次にアップサンプリングして特徴を連結し、マルチスケール表現を形成する Pyramid Transformer を構築する。
• Pyramid と Patch Transformers がエンコーダを形成し、MLP ベースのデコーダが画像を再構成するオートエンコーダアーキテクチャを組み立てる（損失 = MSE）。
• PPT エンコーダをマルチソース画像（例: 赤外線と可視光）に対してシアミーズ設定で適用し、チャネルごとの融合戦略を用いて特徴量 (F_fused) を融合する。
• デコードして融合画像を得る前に、特徴を適応的に結合するために3つの融合戦略（平均、最大、Softmax）を使用する。

実験結果

リサーチクエスチョン

• RQ1 パッチ内の局所ピクセル情報を保持することで、Transformer ベースのモデルを低レベル視覚タスクに効果的に適用できるか？
• RQ2 多尺度の Pyramid Transformer は、局所的なテクスチャ詳細を犠牲にすることなく、グローバルな文脈モデリングを改善できるか？
• RQ3 赤外/可視、マルチフォーカス、医療データセットで、PPT ベースの特徴抽出器は最先端手法と比較してマルチソース画像融合でどの程度性能を発揮するか？
• RQ4 提案アーキテクチャは、ネットワーク設計の再設計なしに、異なる画像融合タスクに一般的に適用できる程度に汎用性があるか？
• RQ5 どの融合戦略（平均、最大、Softmax）が、データセット全体で最も良い定量的融合指標をもたらすか？

主な発見

• PPT は局所的なテクスチャとグローバルな文脈特徴の両方を抽出でき、効果的な低レベル視覚表現を可能にする。
• The Pyramid Patch Transformer yields multi-scale features that improve fusion quality while remaining CNN-free.
• PPT Fusion は赤外/可視融合タスクで TNO や RoadScene などのデータセットで複数の指標で上位2位に入る。
• マルチフォーカスその他の融合タスクでも、論文の比較分析に報告されているように、広範な最先端手法と比較して競争力のあるまたは優れたスコアを達成している。
• 従来の大規模トランスフォーマーより計算資源を要さず、控えめなハードウェアで動作可能で、COCO/Imagenetの事前学習を使用する。
• 著者らは PPT Fusion がいくつかの定量指標（SCD、SSIM、CC、FMI_pixel など）で最良またはほぼ最良の性能を達成し、質的な融合結果も好ましいことを報告している。