[論文レビュー] Dynamic Graph Representation for Partially Occluded Biometrics

Min Ren, Yunlong Wang+2 more|arXiv (Cornell University)|Dec 1, 2019

Biometric Identification and Security参考文献 40被引用数 4

ひとこと要約

本稿では、部分的遮蔽に対処するため、CNNとグラフィカルモデルを統合する新規の深層学習フレームワーク、Dynamic Graph Representation (DGR) を提案する。CNNの活性化から動的特徴グラフを構築し、遮蔽領域に対応するノードを適応的に削除することで、認識精度を向上させるとともに、解釈可能で推論に基づいた意思決定を可能にする。DGRは、虹彩および顔認識ベンチマークにおいて、CNNやマスキング戦略を著しく上回る性能を発揮する。

ABSTRACT

The generalization ability of Convolutional neural networks (CNNs) for biometrics drops greatly due to the adverse effects of various occlusions. To this end, we propose a novel unified framework integrated the merits of both CNNs and graphical models to learn dynamic graph representations for occlusion problems in biometrics, called Dynamic Graph Representation (DGR). Convolutional features onto certain regions are re-crafted by a graph generator to establish the connections among the spatial parts of biometrics and build Feature Graphs based on these node representations. Each node of Feature Graphs corresponds to a specific part of the input image and the edges express the spatial relationships between parts. By analyzing the similarities between the nodes, the framework is able to adaptively remove the nodes representing the occluded parts. During dynamic graph matching, we propose a novel strategy to measure the distances of both nodes and adjacent matrixes. In this way, the proposed method is more convincing than CNNs-based methods because the dynamic graph method implies a more illustrative and reasonable inference of the biometrics decision. Experiments conducted on iris and face demonstrate the superiority of the proposed framework, which boosts the accuracy of occluded biometrics recognition by a large margin comparing with baseline methods.The code is avaliable at https://github.com/RenMin1991/Dyamic\_Graph\_Representation

研究の動機と目的

• 部分的遮蔽下におけるバイオメトリクス認識におけるCNNの一般化性能の著しい低下を解消すること。
• 特徴抽出後に適用されるマスキング戦略の限界を克服すること。これらの戦略は誤りを起こしやすく、有害である。
• CNNとグラフィカルモデルを統合する包括的なフレームワークを構築し、遮蔽に強い処理を実現すること。
• 特徴グラフ内のノード類似度と構造的マッチングを可視化することで、解釈可能で推論に基づいた意思決定を提供すること。
• 制約のないバイオメトリクス環境下でのクラス内類似性と一般化性能を向上させること。

提案手法

• グラフ生成モジュールは、CNN特徴マップから空間的領域を抽出し、それらの間の接続を確立して特徴グラフを構築する。ノードは画像の部分を表し、エッジは空間的関係を符号化する。
• 新規のSqueeze-and-Excitation Graph Attention Network (SE-GAT) が特徴グラフを処理し、アテンション機構を用いてノード表現を精緻化する。
• マッチング段階では、類似度解析に基づいて遮蔽領域に対応するノードを動的に削除することで、適応的で耐障害性の高い比較が可能になる。
• 二重距離マッチング戦略により、ノード特徴と隣接行列の両方の類似度を計算し、識別力を強化する。
• フレームワークはエンドツーエンドで学習可能であり、CNNベースの特徴抽出と微分可能なグラフ演算を統合する。
• 事前マスキングを回避し、特徴の抑制ではなく、グラフ構造の適応によって遮蔽領域を無視する学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 CNNとグラフィカルモデルを統合した包括的な深層学習フレームワークは、バイオメトリクスにおける部分的遮蔽下で認識精度を向上させることができるか？
• RQ2 適応的ノード削除を伴う動的グラフ構築は、固定マスキング戦略を上回る性能を発揮するか？
• RQ3 グラフィカル表現は、標準的なCNNよりも解釈可能で妥当な意思決定の根拠を提供できるか？
• RQ4 提案手法は制約のないバイオメトリクス環境下でのクラス内類似性と一般化性能にどのように影響を与えるか？
• RQ5 精度と計算コストのバランスを考慮した場合、特徴グラフにおけるノード数の最適値は何か？

主な発見

• 30%の遮蔽を想定したOccluded-LFWデータセットにおいて、本手法はFRR=0.1%の条件下で71.8%のTPRを達成し、LCNN-9（22.47%）を著しく上回った。
• 50%の遮蔽下でも、FRR=0.1%の条件下で25.19%のTPRを達成し、LCNN-9の8.47%を上回り、重度の遮蔽に対しても頑健であることが示された。
• ND CrossSensor Iris 2013 Dataset-LG4000において、32ノードでEER 0.62%を達成し、ベースラインおよびマスキング戦略を上回った。
• 実験から、特徴抽出の前段階で遮蔽領域をマスキングすることは性能を劣化させることを示し、エンドツーエンドの深層学習フレームワークではマスキングが有害であることが判明した。
• 特徴グラフの可視化から、モデルが最も類似度の高い領域（例：目の周辺）に注目していることが確認され、マッチング意思決定の解釈可能な根拠が得られた。
• パラメータ解析から、32ノードが精度と計算コストの最良のトレードオフを提供し、EER 0.62%を達成した。