[論文レビュー] Spontaneous expression classification in the encrypted domain

Segun Aina, Yogachandran Rahulamathavan+2 more|arXiv (Cornell University)|Mar 14, 2014

Face and Expression Recognition参考文献 7被引用数 5

ひとこと要約

本稿では、パリエール暗号に基づく同型暗号化を用いたフィッシャー線形判別分析（FLDA）とk-近傍法（kNN）を組み合わせた実装を用いて、暗号化されたドメインで即時の顔の表情を分類するプライバシー保護型システムを提案する。この手法により、生のデータや個人を露呈せずに、遠隔で暗号化された顔の表情を分類可能であり、NVIE即時の表情データベース上で正確な認識が達成された。これは、暗号化された即時の表情分析のための最初のシステムである。

ABSTRACT

To date, most facial expression analysis have been based on posed image databases and is carried out without being able to protect the identity of the subjects whose expressions are being recognised. In this paper, we propose and implement a system for classifying facial expressions of images in the encrypted domain based on a Paillier cryptosystem implementation of Fisher Linear Discriminant Analysis and k-nearest neighbour (FLDA + kNN). We present results of experiments carried out on a recently developed natural visible and infrared facial expression (NVIE) database of spontaneous images. To the best of our knowledge, this is the first system that will allow the recog-nition of encrypted spontaneous facial expressions by a remote server on behalf of a client.

研究の動機と目的

• 即時の表情に対して、プライバシー保護型の手法が不足しているという問題に取り組むこと。
• 顔の表情を分類する際、感覚的バイオメトリクスデータや個人の身元を露呈せずに、遠隔で分類を可能にすること。
• 暗号化された画像の上で直接顔の表情分類を実行できる、完全に安全なエンドツーエンドのシステムを開発すること。
• 実世界の即時の表情データセットを用いて、同型暗号化を用いた顔の表情認識の実現可能性と正確性を示すこと。

提案手法

• システムはパリエール暗号方式を用いて、暗号化された顔特徴量上で同型計算を可能にする。
• フィッシャー線形判別分析（FLDA）を暗号化ドメインで動作可能に改造し、暗号化された画像から判別性の高い特徴量を抽出する。
• k-近傍法（kNN）分類を暗号化された特徴ベクトル上で直接実行し、表情を分類する。
• この手法は、即時の可視光および赤外線顔の表情を含むNVIEデータベースからの画像を処理する。
• すべての計算—特徴抽出および分類—は復号なしで実行され、データ機密性が保持される。
• 実装により、唯一の公開情報は最終的な分類結果に限定され、その背後にある顔のデータは露呈されない。

実験結果

リサーチクエスチョン

• RQ1 生の顔の表情画像を暗号化した状態で正確に分類することは可能か？ その際、元のデータを露呈せずに済むか？
• RQ2 同型暗号化を用いて、FLDAとkNNのパイプラインをプライバシー保護型の表情認識に適用することは可能か？
• RQ3 暗号化された表情分類の性能は、即時の表情データベースにおいて標準的手法と比較してどうなるか？
• RQ4 クライアントの代わりにリモートサーバーが、完全なデータ機密性を保ちながら表情を分類することは可能か？

主な発見

• 提案されたシステムは、同型暗号化を用いて、暗号化された画像の上で即時の顔の表情分類を直接実行できた。
• この手法は、元の顔の画像に関するいかなる情報も露呈させることなく、NVIEデータベース上で正確な分類結果を得られた。
• 著者らの知る限り、これは、暗号化ドメインで即時の顔の表情分類を遠隔でプライバシー保護型に実現できる最初のシステムである。
• 実装により、FLDAとkNNがパリエール暗号の下でバイオメトリクス分類タスクに効果的に適応可能であることが示された。