[논문 리뷰] Learning Federated Representations and Recommendations with Limited Negatives

Lin Ning, Karan Singhal외 2명|arXiv (Cornell University)|2021. 08. 18.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 4

한 줄 요약

이 논문은 비독립적 동일 분포(non-IID) 및 클라이언트에서의 제한된 음성 샘플로 인해 페더레이티드 딥 리트리ieval 모델의 성능 저하를 해결하기 위해 배치에 민감하지 않은 손실 함수—특히 산산이 흩어진 정규화가 적용된 히든 손실과 글로벌 소프트맥스 손실—을 제안한다. 이 방법은 페더레이티드 모델과 중심화된 모델 간의 리콜 격차를 27.22%에서 0.53%로 감소시켜 상대적 리콜을 최대 93.15% 향상시킨다.

ABSTRACT

Deep retrieval models are widely used for learning entity representations and recommendations. Federated learning provides a privacy-preserving way to train these models without requiring centralization of user data. However, federated deep retrieval models usually perform much worse than their centralized counterparts due to non-IID (independent and identically distributed) training data on clients, an intrinsic property of federated learning that limits negatives available for training. We demonstrate that this issue is distinct from the commonly studied client drift problem. This work proposes batch-insensitive losses as a way to alleviate the non-IID negatives issue for federated movie recommendations. We explore a variety of techniques and identify that batch-insensitive losses can effectively improve the performance of federated deep retrieval models, increasing the relative recall of the federated model by up to 93.15% and reducing the relative gap in recall between it and a centralized model from 27.22% - 43.14% to 0.53% - 2.42%. We also open-source our code framework to accelerate further research and applications of federated deep retrieval models.

연구 동기 및 목표

• 비독립적 동일 분포 및 클라이언트에서의 풍부하지 않은 음성 샘플로 인해 발생하는 페더레이티드 딥 리트리ieval 모델의 심각한 성능 저하를 해결한다.
• 페더럴러닝에서 잘 알려진 문제인 클라이언트 드리프트와는 별개로 음성 샘플링 문제를 구분한다.
• 페더럴 환경에서의 데이터 분포 이탈에 강건한 손실 함수를 개발하여 표현 학습과 추천 품질을 향상시킨다.
• 배치에 민감하지 않은 손실 함수가 페더럴 학습과 중심화된 학습 간의 성능 격차를 크게 좁힐 수 있음을 입증한다.
• 페더럴 딥 리트리ieval 모델의 연구 및 실용적 구현을 가속화하기 위해 오픈소스 프레임워크를 공개한다.

제안 방법

• 배치 내 음성 샘플에 의존하지 않는 배치에 민감하지 않은 손실 함수를 도입하여 클라이언트의 데이터 분포에 대한 민감도를 감소시킨다.
• 히든 손실에 산산이 흩어진 정규화를 결합하여, 음성 샘플이 제한되어 있어도 관련이 없는 아이템-컨텍스트 쌍의 임베딩 간 거리를 넓히는 데 기여한다.
• 전체 아이템 어휘를 음성 샘플로 사용하는 글로벌 소프트맥스 손실을 적용하여 미니배치 음성 샘플에 대한 의존성을 제거한다.
• 사용자 컨텍스트와 아이템에 대해 별도의 인코더를 갖는 듀얼 인코더 아키텍처를 사용하며, 대조 학습을 통해 훈련한다.
• 다수의 로컬 스텝을 가진 페더럴 평균화를 사용하여 모델을 훈련하고, 중심화된 테스트 세트와 페더럴 테스트 세트에서 성능을 평가한다.
• 재현성과 새로운 작업에 대한 확장성을 고려해, 텐서플로우 페더레이티드 기반의 유연한 코드 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 비독립적 동일 분포이면서 음성 샘플이 제한된 환경에서 중심화된 학습 대비 페더럴 딥 리트리ieval 모델의 성능 저하는 어느 정도 심각한가?
• RQ2 성능 저하는 주로 음성 샘플의 분포 이탈 때문인지, 아니면 클라이언트 드리프트 또는 기타 요인 때문인가?
• RQ3 배치에 민감하지 않은 손실 함수가 비독립적 동일 분포 환경에서 페더럴 딥 리트리ieval 모델의 성능 저하를 완화할 수 있는가?
• RQ4 다른 손실 함수—배치에 민감한 vs. 배치에 민감하지 않은—는 페더럴과 중심화된 모델 간의 리콜 격차에 어떤 영향을 미치는가?
• RQ5 배치에 민감하지 않은 손실 함수는 기존의 클라이언트 드리프트 완화 기법과 효과적으로 조합될 수 있는가?

주요 결과

• 글로벌 소프트맥스 손실을 사용할 경우, 페더럴 모델과 중심화된 모델 간의 리콜 격차가 기준값 27.22%에서 0.53%로 감소한다.
• 산산이 흩어진 정규화가 적용된 히든 손실은 리콜 격차를 2.42%로 줄여 기준값 대비 상대적 리콜을 최대 93.15% 향상시킨다.
• 히든+산산이 흩어진 정규화(H+S)와 글로벌 소프트맥스(GS)와 같은 배치에 민감하지 않은 손실 함수는 모든 리콜 지표(R@1, R@5, R@10)에서 배치에 민감한 기준 모델(BS 및 BS+S)보다 뚜렷이 우수하다.
• 글로벌 소프트맥스는 중심화된 모델과 페더럴 모델 간의 성능 격차를 가장 작게 만들지만, 절대 리콜 측면에선 H+S가 略적으로 더 우수하다.
• H+S를 적용한 개선된 중심화된 모델은 R@10이 11.15를 기록하는 반면, 페더럴 모델은 10.43을 달성하여 페더럴 학습 환경에서도 강력한 일반화 능력을 보인다.
• 오픈소스 프레임워크를 통해 영화 추천을 위한 다음 영화 예측 작업에서 페더럴 딥 리트리ieval 모델의 재현 가능한 훈련 및 평가를 가능하게 한다.