[論文レビュー] Deep End-to-end Fingerprint Denoising and Inpainting

Youness Mansar|arXiv (Cornell University)|Jul 31, 2018

Digital Media Forensic Detection参考文献 4被引用数 4

ひとこと要約

本論文では、U-Netに類似した畳み込みニューラルネットワークを用いたエンドツーエンドのディープラーニング手法を提示し、合成指紋画像のノイズ除去と穴埋めを実行する。この手法は、Chalearn LAP In-painting Competition Track 3で最先端の性能を達成した。データ拡張、アダプティブな学習率スケジューリング、スキップ接続を活用し、MAE、PSNR、SSIMの各指標で全ての競合者を上回った。

ABSTRACT

This work describes our winning solution for the Chalearn LAP In-painting Competition Track 3 - Fingerprint Denoising and In-painting. The objective of this competition is to reduce noise, remove the background pattern and replace missing parts of fingerprint images in order to simplify the verification made by humans or third-party software. In this paper, we use a U-Net like CNN model that performs all those steps end-to-end after being trained on the competition data in a fully supervised way. This architecture and training procedure achieved the best results on all three metrics of the competition.

研究の動機と目的

• 劣化した指紋画像のノイズ除去と穴埋めを同時に効果的に行う、耐障害性の高いエンドツーエンドのディープラーニングモデルの開発。
• 画像前処理による指紋認証の正確性向上を目的とし、誤認識率および誤拒否率の低減。
• 指紋画像における合成歪み（ぼやけ、遮蔽、ノイズ、背景パターンなど）に起因する課題の解決。
• スキップ接続やデータ拡張といったアーキテクチャ的要素が、完全に教師あり学習の枠組み内で果たす影響の評価。
• CNNベースのアプローチが、指紋修復の文脈において画像セグメンテーションのタスクを超えて一般化可能な可能性の提示。

提案手法

• スキップ接続を備えたU-Netに類似したエンコーダ-デコーダ型畳み込みニューラルネットワークを採用し、空間的詳細の保持と勾配消失問題の緩和を図る。
• 入力画像は[0,1]に正規化され、16（2^4）で割り切れるサイズにリサイズされ、マックスプーリング層に対応させる。
• データ拡張はトレーニング時のみ適用され、ランダムな反転、シアー、平行移動、ズーム、コントラスト/彩度の変更、回転が含まれる。
• 最適化にはAdamを使用し、初期学習率を1e-4に設定。検証損失が3エポックにわたり変化しなくなった場合、学習率を0.5倍に減少させる。
• 出力画像はmin-maxスケーリングにより[0,255]に変換され、元の入力サイズにリサイズされた後、提出される。
• 損失関数は平均絶対誤差（MAE）に基づくものであり、トレーニング中はPSNRとSSIMの強力な代理指標として機能する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の前処理を一切行わず、1つのエンドツーエンドのディープラーニングモデルが、指紋画像におけるノイズ除去と穴埋めの両方を効果的に処理できるか。
• RQ2 スキップ接続やデータ拡張といったアーキテクチャ的要素が、合成指紋修復タスクにおける性能に与える影響はいかほどか。
• RQ3 アダプティブな学習率スケジューリングが収束性および最終的な指標性能にどれほど寄与するか。
• RQ4 合成データでのみ学習させた場合、実世界の指紋画像修復に一般化可能か。
• RQ5 MAE損失のみを用いても、PSNRおよびSSIMの高い性能が得られるか。これは、指紋画像品質の代理損失としてMAEが適していることを示唆する。

主な発見

• 提案手法は、すべての3つのコンペティション指標で最高の結果を達成した。テストセットにおけるMAEは0.0189、PSNRは17.6968、SSIMは0.8427であった。
• アブレーションスタディの結果、学習率の低下が性能向上に最も寄与した一方、データ拡張の影響は最小限であった。
• スキップ接続を削除すると性能が著しく低下し、MAEは0.7282に上昇、SSIMは0.0001に低下した。
• 事前学習済みのVGGエンコーダを用いることで、結果がわずかに改善され、MAEは0.0225に低下、SSIMは0.8142に上昇した。
• 損失関数にMAEのみを用いても、PSNRおよびSSIMに高い一般化性能を示した。これは、MAEが指紋画像品質の代理損失として効果的であることを示している。
• ドーナツ畳み込み（rgsl888）やM-Netアーキテクチャ（sukeshadigav）を用いた他の手法をすべての指標で上回った。