[논문 리뷰] Federated Learning for Ranking Browser History Suggestions

Florian Hartmann, Sunah Suh외 3명|arXiv (Cornell University)|2019. 11. 26.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 38

한 줄 요약

본 논문은 프라이버시를 보장하는 연합 학습 시스템을 통해 Firefox URL 바 히스토리 및 즐겨찾기 제안을 최적화하고, 수작업으로 설계된 frecency 가중치를 대체하며 타이핑 수고를 반 글자 이상 줄인다.

ABSTRACT

Federated Learning is a new subfield of machine learning that allows fitting models without collecting the training data itself. Instead of sharing data, users collaboratively train a model by only sending weight updates to a server. To improve the ranking of suggestions in the Firefox URL bar, we make use of Federated Learning to train a model on user interactions in a privacy-preserving way. This trained model replaces a handcrafted heuristic, and our results show that users now type over half a character less to find what they are looking for. To be able to deploy our system to real users without degrading their experience during training, we design the optimization process to be robust. To this end, we use a variant of Rprop for optimization, and implement additional safeguards. By using a numerical gradient approximation technique, our system is able to optimize anything in Firefox that is currently based on handcrafted heuristics. Our paper shows that Federated Learning can be used successfully to train models in privacy-respecting ways.

연구 동기 및 목표

• 연합 학습이 프라이버시를 보장하는 모델 개선을 위한 주요 소프트웨어 제품에서도 사용할 수 있음을 입증한다.
• 사용자 상호작용으로부터 얻는 제한된 피드백 신호에 적합한 안정적인 배포 가능한 최적화 프로세스를 개발한다.
• freсency 기반 순위에서 수작업으로 설계된 휴리스틱 가중치를 학습 가능한 매개변수로 대체하되 안전성과 해석 가능성을 보장한다.
• 실제 Firefox 배포에 적합한 그래디언트 추정 및 안전한 집계를 위한 메커니즘을 제공한다.
• URL 바를 넘어선 최적화에 재사용 가능하도록 일반적이고 계산 가능한 그래디언트 프레임워크를 유지한다.

제안 방법

• 일부 클라이언트가 개인적으로 보유한 상호작용으로 로컬 업데이트를 계산하고 이를 집계를 위한 서버로 보내는 연합 학습 루프를 구현한다.
• 가격? 점-와이즈 SVM 스타일의 순위 손실을 frecency 기반 순위에 맞게 적응시켜 선택된 항목을 마진 Delta로 선호하도록 모델을 학습한다.
• 갱신을 제한하고 안정성과 해석 가능성을 위해 가중치별 스텝 크기를 조정하는 Rprop을 그래디언트-디센트 최적화기로 채택한다.
• Firefox 내의 비미분 가능하거나 변경이 어려운 코드 경로를 수용하기 위해 유한 차 방법으로 그래디언트를 근사화하여 코드를 재작성하지 않고도 그래디언트 추정이 가능하도록 한다.
• 실제 배포 전에 아이디어를 검증하기 위한 시뮬레이션과 함께 빠른 프로토타이핑 및 통제된 업그레이드 경로를 위해 Shield를 활용한다.
• 안전장치를 적용한다: 기존 frecency 모델에서 초기화하고, 업데이트를 제한하며, 음이 아닌 가중치를 강제하고, 신규 방문의 가중치를 구 방문보다 높게 유지한다.

실험 결과

연구 질문

• RQ1 연합 학습이 사용자 데이터를 수집하지 않고도 주요 소프트웨어 제품에서 URL 바 제안의 순위를 효과적으로 개선할 수 있는가?
• RQ2 제한적이고 노이즈가 있는 사용자 주도 피드백으로 실제 배포에 충분히 견고하고 안정적으로 최적화를 만들 수 있는 방법은?
• RQ3 블랙박스이자 수작업 기반의 휴리스틱 순위 시스템을 프라이버시를 보장하는 방식으로 그래디언트 기반 학습을 통해 재매개변수화하고 개선할 수 있는가?
• RQ4 대규모 브라우저 배포에 실제적인 그래디언트 추정 방법과 프라이버시를 보장하는 집계 전략은 무엇인가?

주요 결과

• 새로운 모델은 제안을 선택하기 전에 입력되는 문자 수를 반 글자 이상 줄인다.
• 이 시스템은 Firefox Beta 사용자 중 큰 비율에 배포되었고 대략 360,000명의 참여자로부터 데이터를 사용해 학습됐다.
• 최적화는 거의 3일에 걸친 온라인 단계에서 137회의 반복으로 실행되었고, 수백만 개의 그래디언트 업데이트와 수십억 건의 서버 상호작용이 있었다.
• 이 접근 방식은 연합 학습이 시뮬레이션이 아닌 주요 제품에도 적용될 수 있음을 실제 안전장치와 안정성 고려와 함께 보여준다.
• 설계는 순위 손실의 점별(pointwise) 적응과 Rprop 기반 최적화기를 사용하여 안정적이고 한정된 업데이트를 보장한다.
• 익명화된 데이터세트와 오픈 소스 코드가 연구에 동반되도록 준비되었으며(데이터세트는 앞으로 공개될 예정).