[論文レビュー] TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning

Linhao Qu, Shaolei Liu+2 more|arXiv (Cornell University)|Dec 2, 2021

Image Enhancement Techniques被引用数 13

ひとこと要約

TransMEFは、教師なしのマルチタスク学習を用いて、大規模な自然画像データセットから教師ありの融合画像を必要とせずに学習する、トランスフォーマーに基づくマルチ露出画像統合フレームワークを提案する。エンコーダーにCNNとトランスフォーマーのモジュールを統合し、3つの自己教師付き再構成タスクを採用することで、最新のベンチマークデータセットにおいて客観的および主観的評価の両面で最先端の性能を達成した。

ABSTRACT

In this paper, we propose TransMEF, a transformer-based multi-exposure image fusion framework that uses self-supervised multi-task learning. The framework is based on an encoder-decoder network, which can be trained on large natural image datasets and does not require ground truth fusion images. We design three self-supervised reconstruction tasks according to the characteristics of multi-exposure images and conduct these tasks simultaneously using multi-task learning; through this process, the network can learn the characteristics of multi-exposure images and extract more generalized features. In addition, to compensate for the defect in establishing long-range dependencies in CNN-based architectures, we design an encoder that combines a CNN module with a transformer module. This combination enables the network to focus on both local and global information. We evaluated our method and compared it to 11 competitive traditional and deep learning-based methods on the latest released multi-exposure image fusion benchmark dataset, and our method achieved the best performance in both subjective and objective evaluations.

研究の動機と目的

• 深層学習ベースのMEF手法における大規模マルチ露出データセットの不足と、教師あり融合画像の不足に取り組むこと。
• 画像統合タスクにおけるCNNの長距離依存関係のモデル化の限界を克服すること。
• 自己教師付き再構成タスクを用いて大規模な自然画像データセットで学習することで、特徴の汎化性とロバスト性を向上させること。
• 実際の融合ラベルを用いた教師あり学習に依存せずに、マルチ露出画像統合で最先端の性能を達成すること。

提案手法

• フレームワークは、ImageNetおよびMS-COCOを用いて自己教師付きマルチタスク学習で訓練されたエンコーダ-デコーダー構造を採用する。
• マルチ露出画像の特性に基づき、3つの自己教師付き再構成タスクを設計した：明るさ再構成、テクスチャ再構成、エッジ保持。
• エンコーダーは、局所的特徴抽出のためのCNNモジュールと、長距離依存関係をモデル化するためのビジョントランスフォーマー・モジュールを統合する。
• 統合プロセスは、2つのソース画像をエンコードし、特徴マップを統合してからデコードすることで最終的な統合画像を生成する。
• マルチタスク学習により、3つの再構成タスクを同時に最適化し、特徴学習と汎化性を向上させる。
• ネットワークは自然画像で事前学習され、教師ありラベルのないMEFベンチマークで微調整される。

実験結果

リサーチクエスチョン

• RQ1 教師あり融合画像を必要とせずに、自己教師付きマルチタスク学習がマルチ露出画像統合ネットワークを効果的に学習できるか？
• RQ2 エンコーダーにCNNとトランスフォーマーのモジュールを統合することで、局所的およびグローバルな画像依存関係を捉えることができ、性能が向上するか？
• RQ3 提案された再構成タスクが、自然画像データセット上で特徴学習と汎化性を向上させ、その後続のMEFタスクに寄与するか？
• RQ4 最近のベンチマークにおいて、客観的指標と視覚的品質の両面で、提案手法は最先端の手法と比較してどのように差をつけるか？

主な発見

• TransMEFは、最新のマルチ露出画像統合ベンチマークデータセットにおいて、12の比較手法の中で主観的および客観的評価の両方で最高の性能を達成した。
• PSNR、SSIM、VIF、Q^A/BF、Q^Gを含む12の客観的指標において、11の競合する従来手法および深層学習ベースの手法をすべて上回った。
• 視覚的比較では、屋外および屋内の両シーンにおいて、最適な明るさ、コントラスト、ディテール保持を維持しており、DWT、DeepFuse、U2Fusionなどの手法を上回った。
• 自己教師付き再構成タスクは特徴学習を顕著に向上させ、教師ありラベルが不要な大規模自然画像データセットでの有効な事前学習を可能にした。
• ハイブリッドCNN-Transformerエンコーダーは、長距離依存関係のより良いモデル化を可能にし、より一貫性があり視覚的に妥当な統合画像を生成した。
• 本フレームワークは、実際の融合ラベルによる微調整を必要としないにもかかわらず、強力な汎化性とロバスト性を示しており、依然として最先端の結果を達成した。