[論文レビュー] Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention

Jian Guo, Jiaxiang Tu+3 more|arXiv (Cornell University)|Sep 6, 2022

Biometric Identification and Security被引用数 4

ひとこと要約

本稿では、チャネル・スパティアル・アテンション・フェージョン・モジュール（CSAFM）を用いて指紋と静脈を統合するマルチモーダル生体認証システムを提案する。このモジュールは、チャネルおよびスパティアル次元にわたり特徴量の重みを動的に割り当てることで、補完的情報を効果的に統合する。本手法は、複数の公開マルチモーダルデータセットで最先端の性能を達成し、特徴量の適応的統合により優れた認識精度を示している。

ABSTRACT

Due to the instability and limitations of unimodal biometric systems, multimodal systems have attracted more and more attention from researchers. However, how to exploit the independent and complementary information between different modalities remains a key and challenging problem. In this paper, we propose a multimodal biometric fusion recognition algorithm based on fingerprints and finger veins (Fingerprint Finger Veins-Channel Spatial Attention Fusion Module, FPV-CSAFM). Specifically, for each pair of fingerprint and finger vein images, we first propose a simple and effective Convolutional Neural Network (CNN) to extract features. Then, we build a multimodal feature fusion module (Channel Spatial Attention Fusion Module, CSAFM) to fully fuse the complementary information between fingerprints and finger veins. Different from existing fusion strategies, our fusion method can dynamically adjust the fusion weights according to the importance of different modalities in channel and spatial dimensions, so as to better combine the information between different modalities and improve the overall recognition performance. To evaluate the performance of our method, we conduct a series of experiments on multiple public datasets. Experimental results show that the proposed FPV-CSAFM achieves excellent recognition performance on three multimodal datasets based on fingerprints and finger veins.

研究の動機と目的

• 生体認証システムにおける指紋と静脈モダリティから得られる補完的情報を効果的に統合する課題に対処すること。
• 不安定さや低耐障害性に悩まされるユニモーダル生体認証システムの限界を克服すること。
• チャネルおよびスパティアル次元におけるモダリティ固有の関連性に基づき、特徴量に重要度を適応的に割り当てる学習可能な統合メカニズムを設計すること。
• 統合的でエンド・トゥ・エンドでトレーニング可能なフレームワークを用いて、全体の認識性能を向上させること。
• 提案手法の妥当性を確認するため、複数の公開データセットを用いて検証を行い、耐障害性および一般化能力を示すこと。

提案手法

• まず、軽量な畳み込みニューラルネットワーク（CNN）を用いて、個々の指紋および静脈画像から深層特徴量を抽出する。
• チャネルおよびスパティアル次元にわたり動的アテンション重みを学習することで、特徴量を統合するチャネル・スパティアル・アテンション・フェージョン・モジュール（CSAFM）を導入する。
• CSAFMモジュールは、チャネルおよびスパティアル次元ごとに別々のアテンションマップを計算し、統合の前にモダリティ固有の特徴量の再スケーリングを可能にする。
• 統合プロセスは微分可能であり、エンド・トゥ・エンドでトレーニング可能であり、ネットワークがデータから最適な統合戦略を学習できる。
• 特徴量抽出と統合を統合的に最適化するための統一フレームワーク（FPV-CSAFM）に本手法を統合する。
• モデルは交差エントロピー損失を用いてトレーニングされ、標準的なマルチモーダル生体認証ベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 指紋と静脈モダリティ間の補完的情報を、認識精度の向上を目的として効果的に統合する方法は何か？
• RQ2 学習可能なアテンションメカニズムは、チャネルおよびスパティアル次元におけるモダリティの重要度に基づき、動的に統合重みを調整できるか？
• RQ3 提案されたCSAFMモジュールは、要素ごとの加算を伴う早期統合や後期統合といった従来の統合戦略を上回る性能を示すか？
• RQ4 提案手法は、さまざまなマルチモーダル生体認証データセットに一般化できるか？
• RQ5 チャネルおよびスパティアル・アテンション・コンponentsが最終的な認識性能に果たす寄与度は何か？

主な発見

• 提案されたFPV-CSAFMモデルは、3つの公開マルチモーダル指紋および静脈データセットで最先端の認識精度を達成した。
• チャネルおよびスパティアルの両方のアテンションを統合することで、早期統合や後期統合を含むベースライン統合手法と比較して顕著な性能向上が得られた。
• アブレーションスタディの結果、チャネルおよびスパティアル・アテンション両方のコンponentsが最終的な統合性能に有意義に寄与することが確認された。
• モデルは多様なデータセットに対して頑健であることが示され、優れた一般化能力を有することがわかった。
• 動的統合メカニズムは、モダリティ固有の顕著な特徴量を効果的に捉えており、識別的表現学習を向上させた。
• 既存のアテンションベースの統合手法よりも高い精度を達成しており、提案されたCSAFMモジュールの有効性が裏付けられた。