[論文レビュー] Palm-GAN: Generating Realistic Palmprint Images Using Total-Variation Regularized GAN

Shervin Minaee, Mehdi Minaei+1 more|arXiv (Cornell University)|Mar 21, 2020

AI in cancer detection参考文献 38被引用数 7

ひとこと要約

この論文では、全変動（TV）正則化を施した条件付きGANフレームワーク、Palm-GANを提案する。TV損失により線の接続性を強制することで、多様で写真のようなリアルな掌紋画像を生成し、PolyUデータセットでFIDスコア46.3という低スコアを達成した。

ABSTRACT

Generating realistic palmprint (more generally biometric) images has always been an interesting and, at the same time, challenging problem. Classical statistical models fail to generate realistic-looking palmprint images, as they are not powerful enough to capture the complicated texture representation of palmprint images. In this work, we present a deep learning framework based on generative adversarial networks (GAN), which is able to generate realistic palmprint images. To help the model learn more realistic images, we proposed to add a suitable regularization to the loss function, which imposes the line connectivity of generated palmprint images. This is very desirable for palmprints, as the principal lines in palm are usually connected. We apply this framework to a popular palmprint databases, and generate images which look very realistic, and similar to the samples in this database. Through experimental results, we show that the generated palmprint images look very realistic, have a good diversity, and are able to capture different parts of the prior distribution. We also report the Frechet Inception distance (FID) of the proposed model, and show that our model is able to achieve really good quantitative performance in terms of FID score.

研究の動機と目的

• 本物の掌紋画像と見分けがつかないほどリアルな掌紋画像を生成する課題に対処すること。
• 古典的な統計モデルが複雑な掌紋のテクスチャパターンを捉えることのできない限界を克服すること。
• 線の接続性を強制することで、生成された掌紋のリアリズムと構造的正確性を向上させること。
• 実用的導入に適した、CPUでトレーニング可能な軽量GANアーキテクチャを開発すること。
• 定性的な視覚的分析と定量的なFIDスコアの両方を用いて、モデルの性能を評価すること。

提案手法

• 掌紋画像生成のための全変動（TV）正則化付き深層畳み込みGAN（DC-GAN）を提案する。
• 生成画像のTVノルムを含む修正されたGAN損失関数を導入し、主要線の接続性を促進する。
• 5層の生成器および識別器アーキテクチャを採用し、GPUを用いずにCPUでもトレーニング可能である。
• PolyUマルチスペクトル掌紋データセットを用いてモデルをトレーニングし、高速化のため画像を64×64にリサイズする。
• 多様な掌紋サンプルを生成するために、ガウス事前分布からの潜在ノイズサンプリングを採用する。
• Frechet Inception Distance（FID）を用いて性能を評価し、本物と生成された特徴量分布を比較する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、本物の掌紋画像と見分けがつかないほどリアルな掌紋画像を生成できるか？
• RQ2 全変動正則化を組み込むことで、生成された掌紋の構造的リアリズムが向上するか？
• RQ3 本モデルは、掌紋データに対して最先端の生成モデルと定量的に比較してどうなるか？
• RQ4 モデルは、本物の掌紋テクスチャの事前分布をどの程度保ち、多様性を維持できるか？
• RQ5 最小限の計算リソースでCPU上で効果的にトレーニングできるか？

主な発見

• 提案されたPalm-GANモデルは、PolyUデータセットの本物のサンプルと見分けがつかないほど高品質な掌紋画像を生成する。
• 全変動正則化の追加により、主要線の接続性が顕著に向上し、構造的リアリズムが向上した。
• Frechet Inception Distance（FID）スコアが46.3を達成し、PolyUデータセットで強い定量的性能を示した。
• 異なる潜在ノイズ入力に対して、線の位置、コントラスト、色の分布に高い多様性が見られた。
• 生成器および識別器の損失曲線は安定したトレーニングダイナミクスを示し、100エポックにわたり生成器損失は減少し、識別器損失は安定した。
• モデルは計算効率が高く、5層のアーキテクチャでCPUでのトレーニングが可能であり、リソース制限のある環境にも適している。