[論文レビュー] Sensor-invariant Fingerprint ROI Segmentation Using Recurrent Adversarial Learning

Indu Joshi, Ayush Utkarsh+5 more|arXiv (Cornell University)|Jul 3, 2021

Biometric Identification and Security参考文献 60被引用数 13

ひとこと要約

本稿では、新しい指紋センサーにおける手動ROIアノテーションの必要性を排除する、再帰的対抗学習に基づく手法RA-RUnetを提案する。未学習のセンサーからの特徴を、対抗学習により学習済みセンサーの特徴に段階的に揃えることで、モデルはセンサーに依存しない表現を学習し、再トレーニングやアノテーションなしで、クロスセンサー指紋ROIセグメンテーションにおいて最先端の性能を達成する。

ABSTRACT

A fingerprint region of interest (roi) segmentation algorithm is designed to separate the foreground fingerprint from the background noise. All the learning based state-of-the-art fingerprint roi segmentation algorithms proposed in the literature are benchmarked on scenarios when both training and testing databases consist of fingerprint images acquired from the same sensors. However, when testing is conducted on a different sensor, the segmentation performance obtained is often unsatisfactory. As a result, every time a new fingerprint sensor is used for testing, the fingerprint roi segmentation model needs to be re-trained with the fingerprint image acquired from the new sensor and its corresponding manually marked ROI. Manually marking fingerprint ROI is expensive because firstly, it is time consuming and more importantly, requires domain expertise. In order to save the human effort in generating annotations required by state-of-the-art, we propose a fingerprint roi segmentation model which aligns the features of fingerprint images derived from the unseen sensor such that they are similar to the ones obtained from the fingerprints whose ground truth roi masks are available for training. Specifically, we propose a recurrent adversarial learning based feature alignment network that helps the fingerprint roi segmentation model to learn sensor-invariant features. Consequently, sensor-invariant features learnt by the proposed roi segmentation model help it to achieve improved segmentation performance on fingerprints acquired from the new sensor. Experiments on publicly available FVC databases demonstrate the efficacy of the proposed work.

研究の動機と目的

• 新しい未学習の指紋センサーでテストされた場合に、指紋ROIセグメンテーションモデルの一般化性能が低いという課題に対処すること。
• 新しい指紋センサーごとに高価で時間がかかる手動ROIアノテーションを回避し、ゼロショット適応を可能にすること。
• 対抗的特徴揃えによるセンサーに依存しない特徴の学習を通じて、新しいセンサーでのセグメンテーション性能を向上させること。
• 再帰的対抗学習が、ワンステップ法と比較して特徴の精錬と境界セグメンテーションの正確性を向上させることを示すこと。
• 公開済みのFVC指紋データベースを用いたクロスセンサー評価設定下で、提案手法の有効性を検証すること。

提案手法

• 源（学習済み）センサーとターゲット（未学習）センサーからの特徴を揃えるために、再帰的対抗的特徴揃えモジュールを備えたU-NetベースのセグメンテーションネットワークRA-RUnetを提案する。
• 複数ステップにわたり特徴表現を段階的に精錬する再帰的ディスクラミネーターを採用し、特徴学習の向上に寄与する人間の視覚的認識に類似したメカニズムを再現する。
• セグメンテーション損失と対抗的損失を組み合わせた重み付き損失関数を用い、ハイパーパrameter α が両者のトレードオフを制御する。
• ターゲットセンサーの画像（真値なし）の特徴を、ソースセンサーの画像（真値あり）の特徴に揃えることで、教師なしドメイン適応を実現する。
• 特徴揃えを再帰的に適用し、複数のイテレーション（T=1, T=3）にわたりディスクラミネーターのパラメータを更新することで、段階的に特徴空間を精錬する。
• セグメンテーションのための共有エンコーダ・デコーダアーキテクチャを用い、対抗モジュールがボトルネック特徴に作用してドメイン不変性を強制する。

実験結果

リサーチクエスチョン

• RQ1 新しい指紋センサーにおいて、そのセンサー用に手動でアノテートされた真値がなくても、ディープラーニングモデルが高い指紋ROIセグメンテーション性能を達成できるか？
• RQ2 ワンステップの対抗的適応と比較して、再帰的対抗的学習が特徴揃えとセグメンテーション性能を向上させるか？
• RQ3 セグメンテーション損失と対抗的損失のバランスを制御するハイパーパrameter α の選択が、最終的なセグメンテーション精度に与える影響は何か？
• RQ4 提案手法は、クロスセンサー指紋ROIセグメンテーションにおいて、手動アノテーションの必要性をどの程度低減できるか？
• RQ5 再帰的精錬メカニズムは、セグメンテーション出力における境界の局所化と活性化パターンを改善するか？

主な発見

• RA-RUnetは2000DB3で92.48%、2002DB1で95.77%、2004DB1で97.75%のDiceスコアを達成し、未学習のセンサーでベースラインRUnetおよび最先端モデルを顕著に上回る。
• T=3の再帰的イテレーションを用いたモデル（RA-RUnet with T=3）は、9つのデータベースのうち5つでT=1を上回り、再帰的精錬がセグメンテーション性能を向上させることを示している。
• 最適な性能はα=1で達成され、対抗的損失が十分に寄与するが、セグメンテーション性能を低下させない。αの値が高くなる（例：α=5）と、セグメンテーション精度が低下する。
• Jaccard類似度はRA-RUnet（T=3）で2004DB2で88.68%、2004DB3で89.72%に達し、困難なデータベースでも優れた性能を示している。
• 可視化結果から、提案手法が特徴活性化と境界の明確化を向上させ、特にノイズが多いまたはコントラストが低い領域で顕著に改善されていることが確認された。
• 複数のFVCデータベースを用いた検証により、ターゲットセンサーに真値が不要な状態でゼロショット適応が可能であり、手動アノテーションへの依存が著しく低減されていることが裏付けられた。