[논문 리뷰] Understanding Latent Factors Using a GWAP

Johannes Kunkel, Benedikt Loepp외 1명|arXiv (Cornell University)|2018. 08. 29.

Recommender Systems and Techniques참고 문헌 11인용 수 6

한 줄 요약

이 논문은 행렬 분해 기반 추천 시스템의 잠재 요인에 대한 인간이 생성한 의미적 기술을 자동으로 수집하기 위해 출력 일致성 게임 메커니즘을 활용하는 목적으로 하는 게임( GWAP)을 제안한다. 각 요인을 나타내는 공유 영화 세트를 플레이어가 기술함으로써, 의미적으로 유의미하고 다양한, 그리고 상이한 용어를 수집할 수 있다. 이는 높은 일치율과 요인 기술 간 낮은 코사인 유사도로 검증되었으며, 모델의 해석 가능성 향상에 효과적인 방법임을 보여준다.

ABSTRACT

Recommender systems relying on latent factor models often appear as black boxes to their users. Semantic descriptions for the factors might help to mitigate this problem. Achieving this automatically is, however, a non-straightforward task due to the models' statistical nature. We present an output-agreement game that represents factors by means of sample items and motivates players to create such descriptions. A user study shows that the collected output actually reflects real-world characteristics of the factors.

연구 동기 및 목표

• 행렬 분해 기반 추천 시스템의 잠재 요인 모델의 투명성 부족 문제를 해결하기 위해, 추상적인 요인에 대한 자동적이고 인간 기반의 해석을 가능하게 하기 위해.
• 플레이어가 게임 기반 인터페이스를 통해 잠재 요인에 대해 의미 있고 일관성 있는 의미적 기술을 공동으로 생성할 수 있는지 탐색하기 위해.
• 수집된 기술이 실제 세계의 의미적 차이를 반영하고 있으며, 추천 이유를 설명하는 데 적합한지 평가하기 위해.
• 사전 정의된 레이블이나 복잡한 시각화 기법 없이 GWAP를 사용해 요인 기술을 유도하는 것이 실현 가능하고, 그 품질이 높은지 평가하기 위해.

제안 방법

• 플레이어 두 명이 무작위로 매칭되며, 각 잠재 요인에 대해 대표적인 영화 세 편을 보여주는 웹 기반 GWAP를 설계하였다. 목표는 동일한 기술어를 입력하는 것이었다.
• 게임은 출력 일치 메커니즘을 사용한다: 플레이어의 추측이 일치할 경우 점수를 획득하며, 이는 영화 세트의 공통된 의미적 특성에 대해 일치를 이끌도록 유도한다.
• 각 요인에 대한 대표 영화는 인기도, 요인과의 관련성, 중복 방지를 위한 특이성 등을 종합한 점수를 기반으로 선정된다.
• 모든 추측과 일치 기록이 로그로 기록되며, 최소 두 번 이상 일치한 용어(X=2)는 분석에 유의미한 것으로 간주된다.
• 각 요인의 용어 집합에 대해 TF-IDF 벡터를 계산하여 코사인 유사도를 통해 요인 간 의미적 유사도를 측정한다.
• 표준화된 설문지와 상호작용 로그를 사용해 참여도, 사용성, 수집된 기술의 품질을 평가하기 위해 173판의 사용자 연구를 실시하였다.

실험 결과

연구 질문

• RQ1 GWAP는 행렬 분해 모델의 잠재 요인에 대해 인간이 생성한 의미적 기술을 효과적으로 유도할 수 있는가?
• RQ2 수집된 기술이 요인 간 실제 세계의 의미적 차이를 반영하고 있는가? (낮은 요인 간 유사도로 확인된다.)
• RQ3 게임 플레이는 일관된 플레이어 참여와 고품질 출력을 이끌어내기에 충분히 매력적이고 사용하기 쉬운가?
• RQ4 수집된 용어들이 영화 포스터와 같은 표면적 단서가 아니라, 요인의 실제 의미적 특성을 반영하는가?

주요 결과

• GWAP는 총 5,741개의 추측과 545개의 일치를 성공적으로 수집하였으며, 요인당 평균 54.5회의 일치와 게임당 평균 3.15회의 일치를 기록하여 높은 플레이어 참여도를 보였다.
• 요인 기술 벡터 간 평균 코사인 유사도는 매우 낮았다(M=0.09, SD=0.13), 이는 요인 간 높은 의미적 다양성과 상이성을 확인한다.
• 플레이어는 IMI 척도에서 평균 즐거움 점수 4.79점(7점 만점)을 기록했으며, SUS 사용성 점수는 79점으로, 높은 만족도와 사용성 인식을 보였다.
• 게임은 일반적인 용어(예: '액션', '코미디')를 선호했지만, 요인 2에 대해선 '개'와 같은 구체적인 용어도 생성하여, 더 많은 데이터로는 미묘한 의미적 특성을 포착할 수 있음을 시사한다.
• 플레이어는 영화들이 왜 함께 묶였는지 이해했다는 평가(M=2.74)를 내었으며, 제공된 정보가 충분하다고 평가(M=3.06)했으며, 포스터가 가장 정보량이 많다고 평가(M=4.32)했다.
• 이 방법은 사전 정의된 태그나 복잡한 시각화 기법 없이도 이해 가능하고 인간이 읽을 수 있는 요인 기술을 생성하는 데 실현 가능성을 입증했다.