[논문 리뷰] Profiling vs. Time vs. Content: What does Matter for Top-k Publication Recommendation based on Twitter Profiles? - An Extended Technical Report

Chifumi Nishioka, Ansgar Scherp|arXiv (Cornell University)|2016. 03. 22.

Recommender Systems and Techniques참고 문헌 33인용 수 14

한 줄 요약

이 연구는 트위터 프로필을 기반으로 한 상위 k개 과학 논문 추천에서 프로파일링 방법, 시간 감쇠, 콘텐츠 빈도라는 세 가지 핵심 요소를 평가한다. CF-IDF에 슬라이딩 윈도우 및 전체 텍스트를 사용할 경우 최고의 성능을 기록하지만, HCF-IDF는 전체 텍스트 대신 제목만을 사용해 유사한 성능을 달성하여 자료가 희소한 상황에서도 효과적임을 확인하였다.

ABSTRACT

So far it is unclear how different factors of a scientific publication recommender system based on users' tweets have an influence on the recommendation performance. We examine three different factors, namely profiling method, temporal decay, and richness of content. Regarding profiling, we compare CF-IDF that replaces terms in TF-IDF by semantic concepts, HCF-IDF as novel hierarchical variant of CF-IDF, and topic modeling. As temporal decay functions, we apply sliding window and exponential decay. In terms of the richness of content, we compare recommendations using both full-texts and titles of publications and using only titles. Overall, the three factors make twelve recommendation strategies. We have conducted an online experiment with 123 participants and compared the strategies in a within-group design. The best recommendations are achieved by the strategy combining CF-IDF, sliding window, and with full-texts. However, the strategies using the novel HCF-IDF profiling method achieve similar results with just using the titles of the publications. Therefore, HCF-IDF can make recommendations when only short and sparse data is available.

연구 동기 및 목표

• 트위터 기반 과학 논문 추천에서 다양한 프로파일링 방법이 추천 성능에 미치는 영향을 조사한다.
• 슬라이딩 윈도우와 지수 감쇠를 비교한 시간 감쇠 함수의 영향을 추천 정확도에 대해 평가한다.
• 전체 텍스트 대신 단지 논문 제목만을 사용할 경우 추천 품질에 어떤 영향을 미치는지 평가한다.
• 상위 k개 논문 추천을 위한 최적의 프로파일링, 감쇠, 콘텐츠 전략 조합을 규명한다.
• 다양한 사용자 인구통계학적 특성(예: 학술 수준, 고용 형태) 간 추천 전략의 탄력성 여부를 평가한다.

제안 방법

• 지식 기반에서 용어를 개념 빈도로 대체하는 TF-IDF의 의미적 확장인 CF-IDF를 적용한다.
• 도메인 특화 계층적 분류체계를 기반으로 확산 활성화를 적용하여 암시적 의미 개념을 유추하는 새로운 계층적 변형인 HCF-IDF를 제안한다.
• 비교를 위해 주제 모델링 기반 기준으로 LDA를 구현한다.
• 슬라이딩 윈도우(시간 기반 절단)와 지수 감쇠(시간 감쇠 가중치)를 적용한 두 가지 시간 감쇠 함수를 구현한다.
• 후보 항목 프로파일링을 위한 콘텐츠 소스로 논문의 전체 텍스트와 제목을 모두 사용한다.
• 123명의 참가자 대상 내부 설문 기반 온라인 실험을 실시하여 순위 점수 및 표준 정보 검색 메트릭스(MAP, MRR, nDCG)를 통해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 CF-IDF, HCF-IDF, LDA와 같은 다양한 프로파일링 방법이 트위터 프로필 기반 상위 k개 논문 추천 성능에 어떤 영향을 미치는가?
• RQ2 슬라이딩 윈도우와 지수 감쇠 간 상대적 영향은 시간에 따라 추천 정확도에 어떻게 작용하는가?
• RQ3 전체 텍스트 대신 단지 논문 제목만을 사용할 경우 추천 성능이 얼마나 떨어지는가?
• RQ4 프로파일링 방법, 감쇠 함수, 콘텐츠 빈도의 조합 중 어느 조합이 가장 높은 추천 성능을 달성하는가?
• RQ5 학술 수준, 전공, 경력 연수, 고용 형태 등의 사용자 인구통계학적 특성이 추천 전략의 효과성에 어떤 영향을 미치는가?

주요 결과

• CF-IDF, 슬라이딩 윈도우 감쇠, 전체 텍스트 콘텐츠를 조합한 전략이 가장 높은 종합 추천 성능을 기록하였다.
• HCF-IDF는 전체 텍스트 대신 제목만을 사용함에도 불구하고 CF-IDF의 전체 텍스트 성능과 유사한 성능을 달성하여 강력한 의미적 추론 능력을 보였다.
• HCF-IDF를 사용한 제목 기반 전략과 CF-IDF를 사용한 전체 텍스트 기반 전략 간 유의미한 차이가 없었으며, 이는 HCF-IDF가 콘텐츠 희소성에 효과적으로 대응함을 시사한다.
• 학사 학위를 가진 참가자가 지도자/교수 직함을 가진 참가자보다 추천된 논문을 더 흥미롭게 평가하여 평가에 인구통계학적 편향이 존재할 수 있음을 시사한다.
• 전공, 전문 경력 연수, 고용 형태에 대한 영향은 추천 성능에 유의미한 영향을 미치지 않았으며, 이는 다양한 사용자 집단 간 탄력성을 보임을 시사한다.
• 전략 요인이 성능에 유의미한 영향을 미쳤다(F = 16.02, p < .01), 반면 인구통계학적 요인은 전략과의 상호작용에서 유의미한 영향을 보이지 않았다. 유일한 예외는 학술 수준이었다.