[論文レビュー] A New Periocular Dataset Collected by Mobile Devices in Unconstrained Scenarios

Luiz A. Zanlorensi, Rayson Laroca+4 more|arXiv (Cornell University)|Nov 24, 2020

Biometric Identification and Security被引用数 4

ひとこと要約

本論文は、非制約的条件下で3回のセッションにわたり1,122名の被験者と196台のモバイルデバイスを用いて収集された、公開可能なperiocularデータセットであるUFPR-Periocularを紹介する。MobileNetV2に基づくマルチタスクディープラーニングモデルを用いて、クローズドワールドプロトコルにおいて84.32%のランク-1識別率と0.81%のEERを達成し、実世界の変動要因に起因するモバイルベースperiocular認識分野におけるさらなる研究の必要性を示している。

ABSTRACT

Recently, ocular biometrics in unconstrained environments using images obtained at visible wavelength have gained the researchers' attention, especially with images captured by mobile devices. Periocular recognition has been demonstrated to be an alternative when the iris trait is not available due to occlusions or low image resolution. However, the periocular trait does not have the high uniqueness presented in the iris trait. Thus, the use of datasets containing many subjects is essential to assess biometric systems' capacity to extract discriminating information from the periocular region. Also, to address the within-class variability caused by lighting and attributes in the periocular region, it is of paramount importance to use datasets with images of the same subject captured in distinct sessions. As the datasets available in the literature do not present all these factors, in this work, we present a new periocular dataset containing samples from 1,122 subjects, acquired in 3 sessions by 196 different mobile devices. The images were captured under unconstrained environments with just a single instruction to the participants: to place their eyes on a region of interest. We also performed an extensive benchmark with several Convolutional Neural Network (CNN) architectures and models that have been employed in state-of-the-art approaches based on Multi-class Classification, Multitask Learning, Pairwise Filters Network, and Siamese Network. The results achieved in the closed- and open-world protocol, considering the identification and verification tasks, show that this area still needs research and development.

研究の動機と目的

• 非制約的条件下でモバイルデバイスを用いて収集された大規模かつ現実的でないperiocularデータセットの不足に対処すること。
• 照明、ポーズ、デバイスの違いに起因する高いクラス内変動が生じる状況下で、最先端のディープラーニングモデルのperiocular認識性能を評価すること。
• マルチタスク学習が識別および検証タスクにおける特徴抽出の識別能を向上させる影響を調査すること。
• 今後のモバイルオクルスバイオメトリクス分野の研究のためのベンチマークデータセットと実験設定を提供すること。

提案手法

• 非制約的環境下で、196台の異なるモバイルデバイスを用いて1,122名の被験者から3回のセッションにわたり合計33,660枚のperiocular画像を収集した。
• 目の端を手動でアノテートし、各画像に対して年齢層、性別、デバイスモデルなどのメタデータを付与した。
• 複数のCNNアーキテクチャ（多クラス分類用、マルチタスク学習用、シアンプスネットワーク、ペairwiseフィルターネットワークなど）を訓練および評価した。
• 識別および検証性能を評価するために、クローズドワールドおよびオープンワールドプロトコルを併用した。
• マルチタスク学習フレームワークにおける各タスクの寄与度を評価するためのアブレーションスタディを実施した。
• 照明、ぼやけ、遮蔽、眼鏡の影響を軽減するために、データ拡張および属性正規化技術を用いた。

実験結果

リサーチクエスチョン

• RQ1 非制約的モバイル環境下で、異なるディープラーニングアーキテクチャにおけるperiocular認識モデルの性能はどのように変動するか？
• RQ2 補助タスク（例：性別、年齢層、デバイスモデル）の相対的寄与度は、periocular特徴の識別力向上にどの程度寄与するか？
• RQ3 照明、遮蔽、画像解像度が、実世界のモバイルperiocular認識における検証精度にどのように影響するか？
• RQ4 マルチタスク学習は、モバイルベースperiocular認識におけるクラス内変動を効果的に低減し、一般化性能を向上させることができるか？
• RQ5 実世界のperiocular認識において、クローズドワールドプロトコルとオープンワールドプロトコルの間の性能差はどの程度か？

主な発見

• UFPR-Periocularデータセットは、可視スペクトルのperiocular認識分野において、被験者数（1,122名）とユニークなモバイルデバイス数（196台）の両面で、文献上最大のものである。
• MobileNetV2を用いたマルチタスク学習モデルが最良の性能を示し、クローズドワールドプロトコルにおいて84.32%のランク-1識別率と0.81%の等誤差率（EER）を達成した。
• オープンワールドプロトコルでは、同じモデルが0.80および0.78のしきい値でEER 2.81%を達成し、未知の被験者に対しても頑健であることが示された。
• アブレーションスタディの結果、デバイスモデル識別が最も影響力が大きく、次に年齢層、性別、目の側面分類の順に寄与度が高かった。
• 主観的分析の結果、照明、遮蔽、低解像度が、誤検証意思決定の主な要因であることが判明した。
• 強力な性能を示したものの、結果は依然としてモバイルperiocular認識が、特にオープンワールドおよび実世界の条件下で顕著な改善を要することを示唆している。