[논문 리뷰] Privacy-Aware Recommender Systems Challenge on Twitter's Home Timeline

Luca Belli, Sofia Ira Ktena외 13명|arXiv (Cornell University)|2020. 04. 28.

Recommender Systems and Techniques참고 문헌 28인용 수 7

한 줄 요약

이 논문은 추천 시스템의 참여도 예측 연구를 촉진하기 위해 160만 건의 트위터 홈 타임라인 상호작용을 포함한 대규모 프라이버시 인식 데이터셋을 소개한다. 수치형 특징의 정량화, 원-핫 인코딩된 범주형 특징, 해시된 ID, CFRNN로 임베딩된 트윗 텍스트를 조합한 기준 모델을 제안하며, 다중 레이블 시그모이드 출력을 통해 네 가지 유형의 사용자 참여(좋아요, 댓글, 재트윗, 댓글과 함께 재트윗)를 예측한다. 이는 허버 손실과 Adam 최적화를 통해 불균형 데이터에서 안정적인 성능을 달성한다.

ABSTRACT

Recommender systems constitute the core engine of most social network platforms nowadays, aiming to maximize user satisfaction along with other key business objectives. Twitter is no exception. Despite the fact that Twitter data has been extensively used to understand socioeconomic and political phenomena and user behaviour, the implicit feedback provided by users on Tweets through their engagements on the Home Timeline has only been explored to a limited extent. At the same time, there is a lack of large-scale public social network datasets that would enable the scientific community to both benchmark and build more powerful and comprehensive models that tailor content to user interests. By releasing an original dataset of 160 million Tweets along with engagement information, Twitter aims to address exactly that. During this release, special attention is drawn on maintaining compliance with existing privacy laws. Apart from user privacy, this paper touches on the key challenges faced by researchers and professionals striving to predict user engagements. It further describes the key aspects of the RecSys 2020 Challenge that was organized by ACM RecSys in partnership with Twitter using this dataset.

연구 동기 및 목표

• 참여도 예측 모델을 훈련하고 벤치마킹하기 위한 대규모 공개 소셜 네트워크 데이터셋의 부족을 해결하기 위해.
• 실제 트위터 플랫폼의 동적 환경과 일치하는 데이터셋을 공개하여 프라이버시 인식 추천 시스템 연구를 촉진하기 위해.
• 실시간 개인화 콘텐츠 순위 매기기의 맥락에서 암시적 피드백을 활용한 참여도 예측 향상을 도전하기 위해.
• RecSys 2020 챌린지를 통해 표준화된 벤치마크를 제공하여 확장 가능하고 프라이버시에 신경 쓰는 추천 알고리즘의 혁신을 촉진하기 위해.

제안 방법

• 수치형 특징은 누락값 포함 50개의 히스토그램 기반 버킷으로 이산화되고, 모델 입력을 위해 원-핫 인코딩된다.
• 범주형 특징(예: 언어)은 추가적인 '알 수 없는 어휘' 클래스를 포함해 원-핫 인코딩되며, 기수 기반 임베딩이 적용된다.
• ID 특징(예: 사용자 또는 트윗 ID)은 고기수성 또는 알려지지 않은 값을 처리하기 위해 해시되고 고정 크기의 버킷으로 변환된다.
• 트윗 텍스트는 코히어런스 없는 순환 신경망(CFRNN)을 사용해 토큰화되고 임베딩되어 계산 효율성과 안정성을 확보한다.
• 모든 특징 임베딩(수치형, 범주형, ID, 텍스트)은 크기가 16×4 + 16 = 80인 밀집 벡터로 결합되며, ReLU 활성화 함수를 사용하는 3층의 MLP(은닉 크기 128, 64, 32)를 통과한다.
• 최종 레이어는 시그모이드 활성화 함수를 사용해 네 가지 상호배타적이지 않은 참여 유형(좋아요, 댓글, 재트윗, 댓글과 함께 재트윗)을 예측하며, 허버 손실과 Adam 옵timizer를 사용해 100만 스텝 동안 훈련된다.

실험 결과

연구 질문

• RQ1 실제 추천 시스템 연구를 지원하기 위해 대규모 프라이버시 보장 데이터셋을 어떻게 구축하고 공개할 수 있는가?
• RQ2 암시적 피드백만을 사용할 때 트윗에 대한 사용자 참여도를 예측하는 데 있어 핵심 과제는 무엇인가?
• RQ3 정량화된 특징, 임베딩 기법, 다중 레이블 학습을 조합한 기준 모델이 불균형이고 고차원적인 데이터에서 참여도 예측에 얼마나 효과적인가?
• RQ4 시간대와 같은 문맥적 특징이 동적인 소셜 미디어 환경에서 참여도 예측 성능에 얼마나 기여하는가?
• RQ5 명시적 사용자 평점이 없을 경우, 불균형 참여 클래스에서 PR-AUC와 F1 스코어와 같은 지표를 통해 모델 성능을 공정하게 평가할 수 있는가?

주요 결과

• 데이터셋은 약 160만 건의 샘플을 포함하며, 긍정적 및 부정적 참여 예측 사례가 거의 균형을 이루어, 유사한 종류의 가장 큰 공개 소셜 미디어 데이터셋이다.
• 고정 학습률 0.001로 100만 스텝 동안 허버 손실과 Adam 최적화를 사용해 안정적인 훈련이 가능했다.
• 수치형 특징에 대한 히스토그램 기반 버킷화와 고기수성 ID에 대한 해시화를 통해 희박하고 비대칭적인 특징 분포를 효과적으로 다룰 수 있었다.
• 시그모이드 활성화 함수를 사용한 다중 레이블 출력은 네 가지 참여 유형의 상호배타적이지 않은 예측을 가능하게 하여 실제 사용자 행동을 반영한다.
• 평가 프레임워크는 불균형 데이터에서 AUC보다 민감도가 높은 PR-AUC와 F1 스코어를 강조하여 안정적인 성능 평가를 보장한다.
• 이전 연구에서 밝혀진 바와 같이 사용자 활동 시간과 같은 문맥적 특징의 중요성을 강조하며, 향후 모델이 이러한 신호를 통합함으로써 관련성과 다양성을 향상시켜야 한다.