[논문 리뷰] Leveraging User Diversity to Harvest Knowledge on the Social Web

Jeon-Hyung Kang, Kristina Lerman|arXiv (Cornell University)|2011. 10. 21.

Multimodal Machine Learning Applications참고 문헌 23인용 수 3

한 줄 요약

이 논문은 사용자가 생성한 애너테이션의 구조와 내용을 기반으로 소셜 웹에서 전문가 사용자를 식별하는 프레임워크를 제안한다. 높은 품질의 세부 태그와 계층적 조직을 통해 패트론omy 학습을 이끌며, 전문가 애너테이션을 더 높은 가중치로 부여함으로써 패트론omy의 정확성과 완전성을 향상시킨다. 동시에 초보자 기여가 포괄적인 커버리지 확보에 필수적임을 보여준다.

ABSTRACT

Social web users are a very diverse group with varying interests, levels of expertise, enthusiasm, and expressiveness. As a result, the quality of content and annotations they create to organize content is also highly variable. While several approaches have been proposed to mine social annotations, for example, to learn folksonomies that reflect how people relate narrower concepts to broader ones, these methods treat all users and the annotations they create uniformly. We propose a framework to automatically identify experts, i.e., knowledgeable users who create high quality annotations, and use their knowledge to guide folksonomy learning. We evaluate the approach on a large body of social annotations extracted from the photosharing site Flickr. We show that using expert knowledge leads to more detailed and accurate folksonomies. Moreover, we show that including annotations from non-expert, or novice, users leads to more comprehensive folksonomies than experts' knowledge alone.

연구 동기 및 목표

• 소셜 웹 플랫폼에서 사용자 생성 애너테이션의 품질 변동 문제를 해결하기 위해 고품질, 세부적인 애너테이션을 생성하는 전문가 사용자를 식별하는 것.
• 전문가 지식을 활용하여 패트론omy 학습을 향상시켜 더 정확하고 세부적인 분류 체계를 도출하는 것.
• 전문가만으로는 달성할 수 없는 수준을 초월해 패트론omy의 완전성을 향상시키는 데서 초보자 사용자의 보완적 역할을 조사하는 것.
• 전문가 식별에 다소의 오류가 있을 경우에도 효과적으로 작동하는 강건한 전문가 식별 방법을 개발하는 것.
• Flickr를 넘어서 Delicious, Bibsonomy, 파일 시스템과 같은 다른 구조화된 데이터 소스로도 이 방법을 일반화하는 것.

제안 방법

• 사용자가 만든 개인 디렉터리(예: Flickr 컬렉션 및 세트)의 구조적 및 언어적 특징을 활용하여 전문가를 식별하며, 깊이, 세분성, 전문 용어 사용 여부에 중점을 둔다.
• 디렉터리 깊이, 중간 노드 수, 태그의 의미 일관성 등의 특징을 기반으로 훈련된 지도 학습 분류 모델을 적용한다.
• 전문가 애너테이션을 더 높은 가중치로 포함시켜 RAP(Relational Affinity Propagation) 알고리즘을 확장하여 패트론omy 추론 과정에 활용한다.
• 추론 과정에서 전문가 노드와 초보자 노드에 선호도 값을 할당하며, 전문가 노드는 더 높은 가중치를 부여하여 분류 체계 구축을 이끈다.
• 전문가 식별 오류(최대 50% 오류)를 시뮬레이션하는 강건성 평가 프레임워크를 구축하여 학습된 패트론omy의 안정성을 테스트한다.
• 대규모 Flickr 애너테이션 데이터셋을 대상으로, 전문가 가중치를 적용한 경우와 적용하지 않은 경우를 비교하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 소셜 웹 플랫폼에서 사용자 애너테이션 구조를 자동으로 분석하여 고품질, 세부적인 애너테이션을 생성하는 전문가 사용자를 식별할 수 있는가?
• RQ2 패트론omy 학습 과정에서 전문가 애너테이션을 더 높은 가중치로 부여할 경우, 모든 사용자를 동일하게 대우하는 것보다 더 정확하고 세부적인 분류 체계를 도출할 수 있는가?
• RQ3 초보자 사용자가 패트론omy의 완전성에 어느 정도 기여하며, 전문가 지식이 사용되는 상황에서도 그들의 포함이 필수적인가?
• RQ4 전문가 식별 오류, 특히 최대 50%의 전문가가 잘못 식별되는 경우에도 패트론omy 학습 과정의 강건성은 어느 정도 유지되는가?
• RQ5 제안된 프레임워크는 Flickr를 넘어서 Delicious 번들, Bibsonomy 관계 등 다른 구조화된 데이터 소스로도 일반화 가능한가?

주요 결과

• RAP 추론 과정에서 전문가 애너테이션을 더 높은 가중치로 부여할 경우, 균일한 가중치 부여 방식보다 훨씬 더 정확하고 세부적인 패트론omy를 도출할 수 있다.
• 전문가 식별 오류가 최대 50%까지 발생하더라도 학습된 패트론omy의 품질은 안정적으로 유지되어, 잘못된 식별에 대한 강건성이 뛰어나다는 것을 입증한다.
• 전문가 지식은 정확성과 세부성 향상에 필수적이지만, 초보자 사용자는 고유하고 중복되지 않는 태그를 기여하여 패트론omy의 완전성을 향상시킨다.
• 전문가와 초보자 애너테이션을 조합하여 학습한 패트론omy는 전문가만으로 학습한 것보다 더 포괄적인 결과를 도출하며, 상호보완적인 역할을 한다는 것을 보여준다.
• 디렉터리 깊이 및 중간 개념 사용 여부와 같은 애너테이션의 구조적 특징을 기반으로 전문가를 효과적으로 식별할 수 있으며, 이는 균일한 사용자 가중치 부여 방식보다 우수한 성능을 보인다.
• 이 프레임워크는 이베이 카테고리, Delicious 번들, Bibsonomy 등 다른 데이터 소스로도 잘 일반화되어 있어 광범위한 적용 가능성을 보여준다.