[논문 리뷰] Spontaneous expression classification in the encrypted domain

Segun Aina, Yogachandran Rahulamathavan외 2명|arXiv (Cornell University)|2014. 03. 14.

Face and Expression Recognition참고 문헌 7인용 수 5

한 줄 요약

이 논문은 페일리어 암호화 기반의 페일리어 호모모르픽 암호화를 사용한 피셔 선형 판별 분석(FLDA)과 k-최근접 이웃(kNN)을 조합한 방법을 이용해 암호화된 도메인에서 도파적 표정을 분류하기 위한 프라이버시 보장 시스템을 제안한다. 이 방법은 원시 데이터나 신원 정보를 드러내지 않은 채 원격으로 암호화된 표정을 분류할 수 있으며, NVIE 도파적 표정 데이터베이스에서 정확한 인식 성능을 달성한다. 이는 암호화된 도파적 표정 분석을 위한 첫 번째 시스템이다.

ABSTRACT

To date, most facial expression analysis have been based on posed image databases and is carried out without being able to protect the identity of the subjects whose expressions are being recognised. In this paper, we propose and implement a system for classifying facial expressions of images in the encrypted domain based on a Paillier cryptosystem implementation of Fisher Linear Discriminant Analysis and k-nearest neighbour (FLDA + kNN). We present results of experiments carried out on a recently developed natural visible and infrared facial expression (NVIE) database of spontaneous images. To the best of our knowledge, this is the first system that will allow the recog-nition of encrypted spontaneous facial expressions by a remote server on behalf of a client.

연구 동기 및 목표

• 도파적 표정 분석 분야에서 프라이버시 보장 방법의 부족 문제를 해결하기 위해.
• 민감한 생체 정보나 개인 신원을 드러내지 않은 채 원격으로 표정을 분류할 수 있도록 하기 위해.
• 암호화된 이미지 위에서 직접 표정 분류를 수행하는 보안적인 종단 간 시스템을 개발하기 위해.
• 실제 도파적 표정 데이터셋에서 호모모르픽 암호화를 활용한 암호화된 표정 인식의 가능성과 정확성을 입증하기 위해.

제안 방법

• 시스템은 페일리어 암호체계를 사용하여 암호화된 얼굴 특징 위에서 호모모르픽 계산을 가능하게 한다.
• 피셔 선형 판별 분석(FLDA)은 암호화된 도메인에서 작동하도록 수정되어 암호화된 이미지에서 구분 가능한 특징를 추출한다.
• k-최근접 이웃(kNN) 분류는 암호화된 특징 벡터 위에서 직접 수행되어 표정을 분류한다.
• 이 방법은 도파적 가시광선 및 적외선 표정을 포함한 NVIE 데이터베이스의 이미지를 처리한다.
• 모든 계산—특징 추출 및 분류—은 복호화 없이 수행되어 데이터 기밀성이 유지된다.
• 구현은 유일하게 최종 분류 결과만 공개되며, 그 이면의 얼굴 데이터는 드러나지 않는다.

실험 결과

연구 질문

• RQ1 원시 데이터를 드러내지 않은 채 암호화된 도파적 표정 이미지에서 정확한 표정 분류가 가능할 수 있는가?
• RQ2 호모모르픽 암호화를 FLDA 및 kNN 파이프라인에 적용하여 프라이버시 보장 표정 인식을 실현할 수 있는가?
• RQ3 암호화된 표정 분류의 성능은 도파적 표정 데이터베이스에서 기존 방법과 비교해 어떻게 되는가?
• RQ4 원격 서버가 클라이언트를 대신하여 암호화된 데이터를 완전히 보존한 채 표정을 분류할 수 있는가?

주요 결과

• 제안된 시스템은 호모모르픽 암호화를 사용하여 암호화된 이미지 위에서 도파적 표정 분류를 직접 수행한다.
• 이 방법은 원래 얼굴 이미지에 대한 어떤 정보도 드러내지 않은 채 NVIE 데이터베이스에서 정확한 분류 결과를 달성한다.
• 저자들의 지식에 비추어 볼 때, 이는 암호화된 도메인에서 원격으로 도파적 표정을 프라이버시 보장하는 방식으로 분류할 수 있는 첫 번째 시스템이다.
• 이 구현은 FLDA와 kNN이 페일리어 암호화 하에 생체 정보 분류 작업을 효과적으로 수행할 수 있도록 적절히 변형될 수 있음을 보여준다.