[논문 리뷰] Federated Evaluation and Tuning for On-Device Personalization: System Design & Applications

Matthias Paulik, Matt Seigel외 20명|arXiv (Cornell University)|2021. 02. 16.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 33

한 줄 요약

이 논문은 개인화된 온디바이스 기계학습을 위한 피어드 평가 및 튜닝(FE&T) 시스템을 제안한다. 이 시스템은 원천 데이터를 중앙 집중화하지 않고도 사용자 기기 간에 개인화된 모델 파라미터를 개인정보 보호 방식으로 최적화할 수 있도록 한다. 이 시스템은 플러그인 모듈을 통해 임의의 온디바이스 계산을 지원하며, 사용자 전용 어휘 발화에서 상대적 16.4%의 WER 감소를 달성한다. 또한 차별적 프라이버시 보장 기반의 개인 정보 보호형 피어드 학습으로 확장 가능하다.

ABSTRACT

We describe the design of our federated task processing system. Originally, the system was created to support two specific federated tasks: evaluation and tuning of on-device ML systems, primarily for the purpose of personalizing these systems. In recent years, support for an additional federated task has been added: federated learning (FL) of deep neural networks. To our knowledge, only one other system has been described in literature that supports FL at scale. We include comparisons to that system to help discuss design decisions and attached trade-offs. Finally, we describe two specific large scale personalization use cases in detail to showcase the applicability of federated tuning to on-device personalization and to highlight application specific solutions.

연구 동기 및 목표

• 사용자 프라이버시를 유지하면서 온디바이스 기계학습 시스템의 개인화 문제를 해결한다.
• 기기 간 글로벌 모델 파라미터의 평가 및 튜닝을 지원하는 확장성 있고 유연한 피어드 시스템을 설계한다.
• 고정된 학습 프레임워크에 의존하지 않고 다양한 기계학습 개인화 작업을 위한 임의의 온디바이스 계산을 가능하게 한다.
• 차별적 프라이버시 보장 기반의 개인 정보 보호형 피어드 학습을 지원하도록 시스템을 확장한다.
• 자동 음성 인식 분야에서의 대규모 개인화 사용 사례를 통해 실생활 적용 가능성을 입증한다.

제안 방법

• 작업 로직과 시스템 인프라를 분리하여 피어드 작업 처리 파이프라인을 추상화함으로써 임의의 온디바이스 계산을 지원한다.
• 기기 현지 데이터를 사용해 개인화된 모델을 학습하고 평가하며, 결과를 중앙 서버에 보고하여 집계 및 분석한다.
• 응용 프로그램 전용 로직이 온디바이스 작업 실행을 담당하는 플러그인 아키텍처를 구현함으로써 계산과 스케줄링 및 보고서 작성의 분리 구조를 확립한다.
• 익명화되고 사용자 보호된 데이터에서 추론 메트릭(예: 단어 오류율)을 수집하고 처리함으로써 피어드 평가를 지원한다.
• 집계된 평가 메트릭을 기반으로 글로벌 초모수(예: 개인화 알고리즘 가중치)를 최적화하기 위해 피어드 튜닝을 적용한다.
• 민감한 모델 업데이트 노출을 최소화하기 위해 차별적 프라이버시 보장 기반의 개인 정보 보호형 피어드 학습을 지원하도록 시스템을 확장한다.

실험 결과

연구 질문

• RQ1 어떻게 대규모 온디바이스 기계학습 시스템을 개인화하면서도 사용자 프라이버시를 유지할 수 있는가?
• RQ2 어떤 시스템 아키텍처가 종단 사용자 기기에서 다양한 기계학습 워크로드에 대해 민첩하고 확장 가능한 피어드 평가 및 튜닝을 가능하게 하는가?
• RQ3 피어드 튜닝을 통한 글로벌 개인화 파라미터 최적화가 전통적인 피어드 학습과 비교해 프라이버시 및 성능 측면에서 어떻게 다른가?
• RQ4 피어드 환경에서 모델 성능 평가의 안정성과 신뢰성을 확보하기 위해 필요한 테스트 세트 크기는 어느 정도인가?
• RQ5 피어드 튜닝을 통해 사용자 전용 어휘에 대한 인식 정확도 향상은 기존 일반 모델 대비 어느 정도 향상되는가?

주요 결과

• 10만 건 이상의 발화로 구성된 테스트 세트를 사용한 피어드 평가에서는 추정된 단어 오류율(eWER)이 약 13%로 안정화되며, 이는 대규모에서의 신뢰할 수 있는 성능 측정을 의미한다.
• 피어드 평가와 중앙 집중식 인간 평가 테스트 세트 간에 eWER에 1%의 절대 차이가 관찰되었으며, 주로 중앙 세트에서 침묵 또는 노이즈 전용 녹음 파일이 제외되었기 때문이다.
• 피어드 튜닝을 통해 사용자 전용 어휘 발화에서 WER이 상대적으로 16.4% 감소(24.4%에서 20.1%로)하여 강력한 개인화 성과를 입증하였다.
• 일반 어휘 발화에서도 1.4%의 상대적 WER 감소(14.6%에서 14.4%로)를 달성하여, 전체 시스템 조합의 이점이 넓게 확산됨을 보여주었다.
• 플러그인 아키텍처를 통해 임의의 분산 계산을 성공적으로 지원하며, FE&T 및 개인 정보 보호형 피어드 학습 확장까지 가능함을 입증하였다.
• 서버 측 음성 인식 시스템 조합과 온디바이스 결과의 통합을 통해 최종 번역 정확도에 대한 엔드 투 엔드 평가가 가능해졌으며, 개인화의 실제 사용자 트래픽에 미치는 영향을 검증하였다.