[論文レビュー] FishFormer: Annulus Slicing-based Transformer for Fisheye Rectification with Efficacy Domain Exploration

Shangrong Yang, Chun-Yu Lin+2 more|arXiv (Cornell University)|Jul 5, 2022

Image Enhancement Techniques被引用数 6

ひとこと要約

FishFormerは、パッチ間の歪みの一貫性を保つために輪環スライcingを用いた、トランスフォーマーに基づく新規なフィッシュアイ画像の補正手法を提案する。これにより、グローバルおよびローカルの認識が向上する。また、局所的なテクスチャ認識を集中させるためのレイヤー注意機構を導入し、複数のデータセットで最先端の性能を達成している。

ABSTRACT

Numerous significant progress on fisheye image rectification has been achieved through CNN. Nevertheless, constrained by a fixed receptive field, the global distribution and the local symmetry of the distortion have not been fully exploited. To leverage these two characteristics, we introduced Fishformer that processes the fisheye image as a sequence to enhance global and local perception. We tuned the Transformer according to the structural properties of fisheye images. First, the uneven distortion distribution in patches generated by the existing square slicing method confuses the network, resulting in difficult training. Therefore, we propose an annulus slicing method to maintain the consistency of the distortion in each patch, thus perceiving the distortion distribution well. Second, we analyze that different distortion parameters have their own efficacy domains. Hence, the perception of the local area is as important as the global, but Transformer has a weakness for local texture perception. Therefore, we propose a novel layer attention mechanism to enhance the local perception and texture transfer. Our network simultaneously implements global perception and focused local perception decided by the different parameters. Extensive experiments demonstrate that our method provides superior performance compared with state-of-the-art methods.

研究の動機と目的

• フィッシュアイ画像におけるグローバルな歪みとローカルな対称性を捉えることのできないCNNと標準的な正方形スライcingの限界を解決する。
• 正方形パッチスライcingによって引き起こされる歪み分布の不一致を克服し、ネットワークの学習を妨げる要因を排除する。
• 歪みパラメータの有効領域を活用して、領域別に特化したローカル認識を実現する。
• 従来、細部の捉えが弱いとされるトランスフォーマーアーキテクチャにおけるローカルテクスチャ認識を強化する。
• パッチ単位の損失に切断正規分布を用いた重み付けを行うことで、訓練の安定性と予測精度を向上させる。

提案手法

• 歪みをパッチごとに一貫して保ち、パッチ間の歪みの変化を滑らかにするため、フィッシュアイ画像を同心円状の輪環に分割する輪環スライcing法を提案する。
• 初期層から深層層へと豊富なローカルテクスチャ特徴を伝達するため、隣接する層間の注意を計算する新しいレイヤー注意機構を設計する。
• 歪みパラメータの予測の信頼性を、その空間的有効領域に基づいて反映させるために、切断正規確率密度を用いたパッチ損失重み付け方式を導入する。
• トランスフォーマーのエンコーダーを、輪環パッチの系列として処理する構造にすることで、長距離のグローバルコンテキストモデリングを可能にする。
• 標準的な自己注意（グローバル認識）とレイヤー注意（集中型ローカル認識）を統合した一貫したアーキテクチャに統合する。
• 多スケール評価指標（PSNR、SSIM、MS-SSIM、FID、CW-SSIM）を用いて、多様なデータセット上でネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準的な正方形スライcingと比較して、輪環スライcingは、トランスフォーマーに基づくフィッシュアイ補正における歪み表現の一貫性を向上させるか？
• RQ2 歪みパラメータの有効領域は空間的に変化するか？その変化を活用することでローカル認識を向上させられるか？
• RQ3 レイヤー注意機構は、細粒度のディテールを扱いにくいとされるトランスフォーマーにおいて、ローカルテクスチャ認識を向上させられるか？
• RQ4 グローバル認識とローカル認識を統合することで、データセットを超えた補正精度と一般化性能にどのような影響を与えるか？
• RQ5 フィッシュアイ補正において、性能と計算コストのバランスを最適化するための最適なネットワークの深さと注意機構の構成は何か？

主な発見

• FishFormerは、Place2データセットでPSNR 25.43、SSIM 0.8412、MS-SSIM 0.9411、FID 73.4、CW-SSIM 0.9388を達成し、最先端手法を上回る性能を示した。
• 輪環スライcing法は、正方形スライcingと比較して、PSNRで最大1.4 dB、MS-SSIMで0.08の向上を示した。特にパッチ数が多い場合（例：64パッチ）に顕著であった。
• レイヤー注意機構（LTM）を導入した場合、LTMなしのベースラインと比較して、PSNRが0.09向上、MS-SSIMが0.0085向上した。これは、ローカルテクスチャ強化の有効性を示している。
• レイヤー注意機構で最初の層の特徴をクエリ（q）として用いることで最良の性能（PSNR: 25.43）が得られ、最適なテクスチャ伝達が実現した。
• 最適なネットワーク深さは5つのトランスフォーマー・ブロックであり、より深いネットワーク（例：7ブロック）では性能が低下した。これは、ある深さを超えると利得が減少することを示唆している。
• クロスデータセットテストにより一般化性が確認された。Place2で学習したFishFormerは、CelebAでも高い性能を維持しており、ロバストネスとドメイン一般化性能が優れていることが示された。