[논문 리뷰] Synthetic Data and Simulators for Recommendation Systems: Current State and Future Directions

Adam Lesnikowski, Gabriel de Souza Pereira Moreira외 2명|arXiv (Cornell University)|2021. 12. 21.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 합성 데이터와 시뮬레이터를 활용하여 개인정보 보호 및 확장 가능한 벤치마킹 및 알고리즘 평가를 가능하게 하여 추천 시스템을 향상시키려고 한다. 데이터의 정확도와 개인정보 보호 사이의 핵심적인 상충 관계를 규명하고, 실제 알고리즘 순위를 예측하는 데 합성 데이터를 사용한 성공 사례를 제시하며, 향후 방향으로 하이브리드 실재-합성 데이터, 피드백 기반 생성, 강건한 시뮬레이터, 개인정보 보호 기법을 포함한다.

ABSTRACT

Synthetic data and simulators have the potential to markedly improve the performance and robustness of recommendation systems. These approaches have already had a beneficial impact in other machine-learning driven fields. We identify and discuss a key trade-off between data fidelity and privacy in the past work on synthetic data and simulators for recommendation systems. For the important use case of predicting algorithm rankings on real data from synthetic data, we provide motivation and current successes versus limitations. Finally we outline a number of exciting future directions for recommendation systems that we believe deserve further attention and work, including mixing real and synthetic data, feedback in dataset generation, robust simulations, and privacy-preserving methods.

연구 동기 및 목표

• 개인정보 및 기업 KPI 우려로 인해 공개된 대규모 추천 시스템 데이터셋이 부족한 문제를 해결하기 위해
• 기존 공개 데이터셋이 역사적 로깅 정책을 반영할 뿐 진정한 사용자 선호도를 반영하지 못하는 한계를 극복하기 위해
• 확장 가능하고 대표성 있는 합성 데이터를 기반으로 추천 알고리즘의 벤치마킹 및 평가를 가능하게 하기 위해
• 사용자-알고리즘 피드백 루프를 모델링하고 강건하고 해석 가능한 평가를 지원하는 시뮬레이터를 개발하기 위해
• 대규모 데이터 공유 시 민감한 사용자 또는 기업 정보를暴露하지 않으면서도 가능한 개인정보 보호 기반 데이터 생성 기법을 발전시키기 위해

제안 방법

• 항목 간 전이 확률과 동시 발생 확률을 유지하는 그래프 워크를 사용해 실재 전이 패턴을 반영한 합성 클릭스트림을 생성한다.
• 실제 세계 지표에서 성능을 측정하고 추천 모델을 훈련시키는 등의 후행 작업을 통해 합성 데이터의 정확도를 평가한다.
• 도메인 랜덤라이제이션을 시뮬레이터에 적용하여 비현실적인 사용자 파라미터(예: 극단적인 브라우징 시간, 소비 습관)를 도입해 훈련 다양성을 높인다.
• 진정한 사용자 선호도와 알려진 로깅 정책에 명시적인 가정을 두어 통계적 성질이 통제된 데이터셋을 생성할 수 있도록 강건한 시뮬레이터를 설계한다.
• 실시간 사용자 상호작용과 알고리즘 피드백 루프를 시뮬레이션하기 위해 피드백 메커니즘을 데이터 생성 과정에 통합한다.
• 익명화된, 압축된 데이터 표현 및 노이즈 주입과 같은 개인정보 보호 기법을 적용하여 민감한 정보를 보호하면서도 유효성을 유지한다.

실험 결과

연구 질문

• RQ1 합성 데이터는 얼마나 정확하게 실재 추천 알고리즘의 순위 성능을 실재 데이터셋 기반으로 예측할 수 있는가?
• RQ2 합성 데이터는 실재 데이터 분포에 대한 높은 정확도를 유지하면서도 재식별을 방지하는 강력한 개인정보 보호 보장을 동시에 달성할 수 있는가?
• RQ3 피드백 기반 데이터 생성은 추천 시스템 내에서 현실적인 사용자-알고리즘 상호작용 역학을 시뮬레이션하는 데 어떤 역할을 할 수 있는가?
• RQ4 장기적인 시스템 행동을 모델링하고 변칙 케이스에 대한 알고리즘 일반화 능력을 평가하기 위해 강건한 시뮬레이터를 어떻게 설계할 수 있는가?
• RQ5 개인정보 보호 기반 데이터 생성 기법은 유효성이 충분히 유지되는 합성 데이터셋을 생성하여 효과적인 모델 비교 및 선별을 가능하게 할 수 있는가?

주요 결과

• 항목 간 전이 및 동시 발생 확률을 유지하는 합성 데이터 생성 기법은 실세계 클릭스트림과 높은 통계적 유사성을 가지는 데이터셋을 생성할 수 있다.
• 도메인 랜덤라이제이션—비현실적인 시뮬레이터 파라미터에서 훈련하는 방식—은 다른 머신러닝 분야에서 성공을 거둔 바가 있으며, 추천 시스템에서 훈련 다양성을 높여 모델의 강건성을 향상시킬 수 있다.
• 기존 공개 데이터셋인 MovieLens는 역사적 로깅 정책에 기인한 편향을 반영하고 있어, 편향 없는 모델 평가를 어렵게 한다. 강건한 시뮬레이터를 통해 진정한 사용자 선호도와 정책에 기인한 산물 간의 분리가 가능하다.
• 실재 데이터와 합성 데이터를 혼합하는 하이브리드 접근법은 일반화 능력을 향상시키면서도 개인정보 보호와 확장성을 유지하는 데 잠재력이 있다.
• 노이즈 주입 및 익명화 표현과 같은 개인정보 보호 기법은 민감한 데이터를 보호할 수 있지만, 모델 성능과 순위 일관성에 미치는 영향은 향후 검증이 더 필요하다.
• RecoGym과 RecSim과 같은 시뮬레이터는 통제된 조건에서 추천 알고리즘 테스트를 위한 강건하고 해석 가능하며 확장 가능한 환경을 제공하는 기초 프레임워크를 제공한다.