[論文レビュー] Performance Evaluation of Biometric Template Update

Romain Giot, Christophe Rosenberger+1 more|arXiv (Cornell University)|Feb 27, 2012

User Authentication and Security Systems参考文献 17被引用数 10

ひとこと要約

本稿では、バイオメトリクステンプレート更新システムの性能評価手法を評価し、一貫性のない評価スキームがシステム効果性の解釈を矛盾させる可能性があることを示している。複数のセッションを含むキーストロークダイナミクスデータを用いて、セッション単位の評価（B）とグローバル平均化（C）が相反する結論を導くことを示し、公平なシステム比較を可能にするために、標準化された時系列を考慮した評価プロトコルの導入を提唱する。

ABSTRACT

Template update allows to modify the biometric reference of a user while he uses the biometric system. With such kind of mechanism we expect the biometric system uses always an up to date representation of the user, by capturing his intra-class (temporary or permanent) variability. Although several studies exist in the literature, there is no commonly adopted evaluation scheme. This does not ease the comparison of the different systems of the literature. In this paper, we show that using different evaluation procedures can lead in different, and contradictory, interpretations of the results. We use a keystroke dynamics (which is a modality suffering of template ageing quickly) template update system on a dataset consisting of height different sessions to illustrate this point. Even if we do not answer to this problematic, it shows that it is necessary to normalize the template update evaluation procedures.

研究の動機と目的

• 文献におけるバイオメトリクステンプレート更新システムの評価手法に見られる不一致を特定・分析すること。
• 時系列的ダイナミクスを無視する評価スキームが、同じシステムの効果性について相反する解釈をもたらす可能性があることを実証すること。
• テンプレート更新メカニズムの公平かつ再現可能な比較を可能にするために、標準化された評価手順の必要性を強調すること。
• 時系列的トレンドを保持する時間的認識評価スキームの採用を提唱し、実世界のシステム動作をよりよく反映できるようにすること。

提案手法

• 本研究では、3つの異なる性能評価スキームを評価した：(A) セッション単位のEER計算、(B) 時間的追跡を伴うセッションごとのEER、(C) 全スコアを統合して計算されたグローバルEER。
• EER（等誤り率）を主な性能指標として用い、100人の被験者と5セッションのキーストロークダイナミクスデータにこれらのスキームを適用した。
• 性能推定における確率的変動を考慮するため、10回にわたってインポスター集合をランダムに再割り当てして評価を繰り返した。
• 評価スキームごとのEERトレンドを比較することで、評価手法の違いが性能評価の解釈にどのように影響するかを示した。
• 実験設定を固定し、一貫したデータ分割と性能測定を実施し、評価プロトコルの差異にのみ焦点を当てた。
• 評価において時間的情報を保持することが重要であることを強調し、時間的ダイナミクスの情報損失を招くグローバル平均化（スキームC）を反対する主張をした。

実験結果

リサーチクエスチョン

• RQ1 テンプレート更新システムの評価スキームの違いが、性能評価結果の解釈にどのように影響するか？
• RQ2 なぜ一貫性のない評価プロトコルが、テンプレート更新研究における公平な比較と再現可能性を阻害するのか？
• RQ3 どの評価アプローチが時系列的ダイナミクスを最もよく保持し、テンプレート更新性能の最も情報豊かな評価を可能にするか？
• RQ4 テンプレート更新システムの評価に適した高品質なデータセットの特徴は何か？
• RQ5 バイオメトリクステンプレート更新システムの性能評価を統一するために、標準化された評価指標を開発できるか？

主な発見

• 特にセッション単位の評価（B）とグローバル平均化（C）の間で、同じテンプレート更新システムの性能について相反する解釈が生じる。
• スキームA（セッション単位のEER）は、性能の急速な低下を示し、更新の有効性が低い、またはバイオメトリクスの変動性が高いことを示唆する。
• スキームB（セッションごとのEER）は、より穏やかな低下を示し、更新メカニズムがテンプレートの老化に部分的に対処している可能性を示す。
• スキームC（グローバルEER）は時系列的トレンドを隠蔽し、すべてのセッションにわたる性能を平均化するため、時間依存の重要なインサイトを失う。その結果、最も情報の少ない評価となる。
• 本研究は、スキームCは時間的分解能が欠落しているため避けるべきであると結論づけ、スキームAとBは対立するがより情報豊かな解釈を提供するとした。
• 著者らは、標準化された評価プロトコルの欠如が、テンプレート更新研究における意味のある比較と再現可能性を阻害していることを強調した。