[논문 리뷰] Federated Learning of User Authentication Models

Hossein Hosseini, Sungrack Yun외 4명|arXiv (Cornell University)|2020. 07. 09.

Internet Traffic Analysis and Secure E-voting참고 문헌 26인용 수 5

한 줄 요약

이 논문은 원시 데이터나 임베딩을 공유하지 않고 사용자 인증 모델을 훈련할 수 있는 프라이버시 보장형 피어드 학습 프레임워크인 FedUA를 제안한다. 무작위 이진 임베딩과 사용자별 임계치 설정을 위한 웜업 단계를 통해, 조밀한 임베딩 크기(예: 512비트) 조건에서도 미사용자에 대해 높은 정확도(80%)와 매우 낮은 오류율(0.16%)을 달성하며, 피어드 환경에서 스케일러블하고 조율이 필요 없는 훈련을 가능하게 한다.

ABSTRACT

Machine learning-based User Authentication (UA) models have been widely deployed in smart devices. UA models are trained to map input data of different users to highly separable embedding vectors, which are then used to accept or reject new inputs at test time. Training UA models requires having direct access to the raw inputs and embedding vectors of users, both of which are privacy-sensitive information. In this paper, we propose Federated User Authentication (FedUA), a framework for privacy-preserving training of UA models. FedUA adopts federated learning framework to enable a group of users to jointly train a model without sharing the raw inputs. It also allows users to generate their embeddings as random binary vectors, so that, unlike the existing approach of constructing the spread out embeddings by the server, the embedding vectors are kept private as well. We show our method is privacy-preserving, scalable with number of users, and allows new users to be added to training without changing the output layer. Our experimental results on the VoxCeleb dataset for speaker verification shows our method reliably rejects data of unseen users at very high true positive rates.

연구 동기 및 목표

• 원시 입력과 임베딩이 민감한 중앙집중형 사용자 인증(UA) 모델 훈련에서 발생하는 프라이버시 리스크를 해결하기 위해.
• 사용자 데이터나 임베딩을 공유하지 않고도 UA 모델의 피어드 훈련을 가능하게 하여 종단 간 프라이버시를 보장하기 위해.
• 재훈련이나 출력 레이어 수정 없이도 새로운 사용자가 훈련에 참여할 수 있도록 하기 위해.
• 프라이버시 보장 설계에도 불구하고, 새로운 사용자에 대해 높은 인증 성능(높은 TPR, 낮은 FPR)을 유지하기 위해.
• 표준 피어드 학습 통신 외에 추가적인 조율 오버헤드를 제거하기 위해.

제안 방법

• 사용자가 자신의 원시 데이터를 사용해 로컬에서 모델을 훈련하며, 서버가 최소한의 쌍별 거리 확보를 위해 임베딩 벡터 길이를 결정한다.
• 각 사용자는 고정된 무작위 이진 임베딩 벡터를 사전에 정해진 길이로 생성하며, 이는 비밀 유지되어 서버나 다른 사용자와 공유되지 않는다.
• 모델은 출력과 사용자 고유의 비밀 무작위 이진 임베딩 벡터 간 상관관계를 최대화하도록 훈련된다.
• 웜업 단계를 통해 각 사용자별 테스트 입력을 수집하여, 목표 정확도(정확한 양성 비율, TPR)를 달성할 수 있도록 사용자별 임계치를 계산한다.
• 지속적인 평균화(FedAvg)를 사용하며, 로컬 훈련(E=1 에포크), SGD 옵티마이저, 최소한의 통신 오버헤드를 적용한다.
• 임베딩 길이(ne)는 성능과 모델 효율성의 균형을 위해 조정되며, ne=128, 256, 512를 테스트하였다.

실험 결과

연구 질문

• RQ1 원시 입력이나 임베딩 벡터를 폭로하지 않고도 피어드 환경에서 사용자 인증 모델을 훈련시킬 수 있는가?
• RQ2 무작위 이진 임베딩이 프라이버시를 유지하면서도 사용자 간 충분한 분리 가능성을 보장할 수 있는가?
• RQ3 재훈련이나 출력 레이어 변경 없이도 새로운 사용자가 훈련에 참여할 수 있는가?
• RQ4 제안된 방법이 새로운 사용자에 대해 높은 인증 성능(예: 높은 TPR, 낮은 FPR)을 달성하는가?
• RQ5 표준 피어드 학습 통신 외에 최소한의 조율으로도 프레임워크를 구현할 수 있는가?

주요 결과

• 128비트 임베딩을 사용할 경우, 정확한 양성 비율(TPR) 80% 조건에서, 새로운 사용자에 대해 오류 양성 비율(FPR)이 0.27%로 도달하였다.
• 256비트 임베딩을 사용할 경우, TPR 80% 조건에서 FPR이 0.18%로 감소하였다.
• 512비트 임베딩을 사용할 경우, TPR 80% 조건에서 FPR이 추가로 0.16%로 감소하여 더 긴 임베딩이 성능 향상에 기여함을 입증하였다.
• 훈련된 사용자의 검증 데이터에서는 높은 성능를 유지하였고, 새로운 사용자에 대해서는 약간의 성능 저하가 있었지만, 여전히 위조자 거부 능력이 매우 높았다.
• 출력 레이어를 수정하거나 모델을 재훈련하지 않고도 동적 사용자 추가가 가능함을 입증하였다.
• 무작위 이진 임베딩의 사용으로, 원-핫 인코딩 대비 출력 크기가 크게 감소하여 확장 가능한 배포가 가능해졌다.