[논문 리뷰] Know Your Personalization: Learning Topic level Personalization in Online Services

Anirban Majumder, Nisheeth Shrivastava|arXiv (Cornell University)|2012. 12. 14.

Recommender Systems and Techniques참고 문헌 22인용 수 6

한 줄 요약

이 논문은 개인화된 콘텐츠 출력과 일반적인 콘텐츠 출력 간의 차이를 분석하여 온라인 서비스에서 사용자 개인화 프로파일을 추론하는 블랙박스 방법을 제안한다. Latent Topic Personalization (LTP) 모델을 사용하여 실제 Google 검색 데이터에서 84%의 R-precision 성능을 달성하며, 사용자가 숨겨진 프로필 정보를 발견하고 개인정보 보호 평가 프레임워크를 지원할 수 있도록 한다.

ABSTRACT

Online service platforms (OSPs), such as search engines, news-websites, ad-providers, etc., serve highly pe rsonalized content to the user, based on the profile extracted from his history with the OSP. Although personalization (generally) leads to a better user experience, it also raises privacy concerns for the user---he does not know what is present in his profile and more importantly, what is being used to per sonalize content for him. In this paper, we capture OSP's personalization for an user in a new data structure called the person alization vector ($η$), which is a weighted vector over a set of topics, and present techniques to compute it for users of an OSP. Our approach treats OSPs as black-boxes, and extracts $η$ by mining only their output, specifical ly, the personalized (for an user) and vanilla (without any user information) contents served, and the differences in these content. We formulate a new model called Latent Topic Personalization (LTP) that captures the personalization vector into a learning framework and present efficient inference algorithms for it. We do extensive experiments for search result personalization using both data from real Google users and synthetic datasets. Our results show high accuracy (R-pre = 84%) of LTP in finding personalized topics. For Google data, our qualitative results show how LTP can also identifies evidences---queries for results on a topic with high $η$ value were re-ranked. Finally, we show how our approach can be used to build a new Privacy evaluation framework focused at end-user privacy on commercial OSPs.

연구 동기 및 목표

• 검색 엔진이나 추천 시스템과 같은 온라인 서비스 플랫폼(OSP)에서 유지하는 숨겨진 개인화 프로파일을 사용자가 발견할 수 있도록 지원하는 것.
• OSP의 내부 알고리즘이나 사용자 이력에 접근할 수 없더라도 사용자 관심 프로파일을 추출할 수 있는 방법을 개발하는 것.
• OSP를 블랙박스로 간주하고, 개인화된 콘텐츠 출력과 일반적인 콘텐츠 출력을 비교하여 개인화된 주제 가중치를 추론하는 출력 전용 접근법을 제공하는 것.
• 정치적 소속이나 의료 관심사와 같은 민감한 주제에서의 개인화를 탐지함으로써 사용자 개인정보 보호 연구를 지원하는 것.
• 사용자가 자신이 어떻게 개인화되고 있는지 감시하고 이해할 수 있도록 하는 개인정보 보호 도구의 기반을 마련하는 것.

제안 방법

• 이 방법은 주제에 대한 가중치를 사용자 관심 수준을 반영하도록 설정된 개인화 벡터 η를 가중치 벡터로 구성한다.
• 동일한 URL에 대해 개인화된 콘텐츠와 일반적인 콘텐츠(예: 검색 결과)를 비교하여 순위 이동을 탐지함으로써 주제 기반 개인화를 식별한다.
• 잠재 주제 개인화(Latent Topic Personalization, LTP) 모델은 주제 분포에 대한 확률적 추론 문제로 개인화를 프레임워크화한다.
• LTP는 관측된 순위 차이를 기반으로 최대 우도를 극대화함으로써 η를 추론하는 생성 모델을 사용한다.
• 주제 모델링(LDA 방식 등)을 활용하여 주제를 단어 분포로 정의함으로써 개인화의 의미적 해석을 가능하게 한다.
• 내부 OSP 논리에 접근할 필요 없이 순위 이동에서 주제 가중치를 학습하는 효율적인 최적화 알고리즘을 활용하여 추론을 수행한다.

실험 결과

연구 질문

• RQ1 사용자 내부 알고리즘이나 사용자 이력에 접근할 수 없어도 온라인 서비스에서 사용자 개인화 프로파일을 추론할 수 있는가?
• RQ2 개인화된 콘텐츠와 일반적인 콘텐츠 간의 순위 차이가 주제 수준의 사용자 관심사를 어느 정도 드러내는가?
• RQ3 실세계 검색 데이터에서 블랙박스 방법이 진짜 개인화 벡터 η를 얼마나 정확하게 복원할 수 있는가?
• RQ4 추론된 개인화 벡터 η는 알려진 사용자 카테고리나 관심사와 의미적으로 관련이 있는가?
• RQ5 이 방법을 사용하여 민감하거나 비밀스러운 주제에서의 개인화를 탐지하고 개인정보 보호 평가를 수행할 수 있는가?

주요 결과

• LTP 모델은 실제 Google 검색 데이터에서 개인화된 주제를 식별하는 데 84%의 R-precision 성능을 달성하여 프로파일 추론의 높은 정확도를 입증한다.
• 개별 사용자 기준으로 정확도는 54%에서 85% 사이로 변동하며, 이는 사용자 간 개인화의 정도와 일관성의 차이를 반영한다.
• 사용자들이 '알고리즘'이나 '애니메이션 & 만화' 주제에서 높은 η 값을 가졌을 경우 결과가 해당 주제에 맞게 재정렬된 것을 성공적으로 식별하여 모델의 해석 가능성에 대한 검증을 완료했다.
• LTP는 높은 η 주제를 Google의 자체 카테고리 레이블(예: '애니메이션 & 만화'에 대해 η = 0.60)과 정확히 일치시켜 실제 사용자 분류와의 일치를 보였다.
• 단 3명의 사용자만으로도 이 방법이 사용자 분류에 최대 60%의 정확도를 달성하여 강건성을 입증했다.
• 이 방법은 사용자가 숨겨진 개인화 프로파일을 발견할 수 있도록 하여 사용자 개인정보 보호 인식 향상과 도구 개발을 위한 새로운 길을 제시한다.