[논문 리뷰] Who With Whom And How?: Extracting Large Social Networks Using Search Engines

Stefan Siersdorfer, Philipp Kemkes외 2명|arXiv (Cornell University)|2017. 01. 28.

Web Data Mining and Analysis참고 문헌 38인용 수 5

한 줄 요약

이 논문은 비정형 웹 데이터에서 대규모 사회 네트워크를 추출하기 위한 확장 가능하고 패턴 기반의 검색 엔진 마이닝 접근법을 제안한다. 어휘 패턴(예: '만남', '그리고 그의 아내')과 반복적으로 엔티티 및 패턴 집합을 확장하는 부트스트래핑 전략을 사용함으로써, 정확도와 효율성이 높아 기존의 기준 대비 政치 및 엔터테인먼트 분야에서 밀도 높고 도메인 특화된 사회 네트워크를 구성하는 데 성공한다.

ABSTRACT

Social network analysis is leveraged in a variety of applications such as identifying influential entities, detecting communities with special interests, and determining the flow of information and innovations. However, existing approaches for extracting social networks from unstructured Web content do not scale well and are only feasible for small graphs. In this paper, we introduce novel methodologies for query-based search engine mining, enabling efficient extraction of social networks from large amounts of Web data. To this end, we use patterns in phrase queries for retrieving entity connections, and employ a bootstrapping approach for iteratively expanding the pattern set. Our experimental evaluation in different domains demonstrates that our algorithms provide high quality results and allow for scalable and efficient construction of social graphs.

연구 동기 및 목표

• 대규모 비정형 웹 데이터에서 과도한 스케일링 문제를 겪는 기존 사회 네트워크 추출 방법의 확장성 한계를 해결하기 위해.
• 사회적 연결이 암시적이고 비정형적인 웹 콘텐츠에서 효율적이고 정확한 대규모 사회 그래프를 구축하기 위해.
• 부트스트래핑 방법을 사용하여 엔티티 쌍과 연결 어휘 패턴을 동적으로 확장하는 방법을 개발하기 위해.
• 노드 인기도와 신선도 기반으로 검색 쿼리를 우선순위 정렬하여 네트워크 구축 속도를 높이고 커버리지 향상시키기 위해.
• 추출된 네트워크의 구조적 및 언어적 특성을 분석하여 도메인 특화된 관계 패턴을 이해하기 위해.

제안 방법

• 엔티티 쌍과 연결 어휘(예: '그리고 그의 아내', '만남')를 사용한 패턴 기반 검색 엔진 쿼리를 활용하여 웹 콘텐츠 내 사회적 연결을 탐지한다.
• 고신뢰도 연결 기반으로 반복적으로 검색 패턴 및 엔티티 쌍 집합을 확장하는 부트스트래핑 메커니즘을 적용한다.
• 노드 인기도 및 신선도 메트릭스를 사용한 지능형 쿼리 우선순위 설정을 통해 필요로 하는 검색 엔진 요청 수를 줄인다.
• 상호정보량(MI)을 사용하여 패턴 내 분류에 효과적인 용어를 식별함으로써 도메인 특화 패턴 분석(예: 정치 vs. 영화)을 가능하게 한다.
• 검색 엔진 쿼리 결과를 집계하여 사회 네트워크 그래프를 구축하며, 수동 및 자동 평가를 통해 검증한다.
• 다국어 패턴 탐지(예: 'y', 'et', 'und' 등 'and'에 해당)를 통합하여 다국어 사회 네트워크 추출을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 검색 엔진을 활용하여 비정형 웹 데이터에서 대규모 사회 네트워크를 효율적으로 추출할 수 있는가?
• RQ2 비용을 최소화하면서 네트워크 커버리지와 품질을 극대화하기 위해 검색 쿼리를 효과적으로 우선순위 정렬하는 기준은 무엇인가?
• RQ3 검색 쿼리의 언어적 패턴은 사회적 관계의 도메인과 성격(예: 정치적 관계 vs. 엔터테인먼트 관계)을 어떻게 반영하는가?
• RQ4 기존 기준 대비 부트스트래핑 방법이 관련 사회적 연결을 얼마나 향상시킬 수 있는가?
• RQ5 추출된 네트워크에서 나타나는 구조적 및 언어적 특성은 무엇이며, 이는 기반 사회 도메인과 어떻게 관련이 있는가?

주요 결과

• 제안된 방법은 정확도와 효율성 측면에서 기존 기준 대비 뚜렷한 성능 향상을 보이며, 대규모 사회 그래프의 확장 가능한 구축을 가능하게 한다.
• 노드 인기도와 신선도 기준은 쿼리 우선순위 정렬에 효과적이며, 필요한 검색 엔진 요청 수를 줄이면서도 높은 커버리지 유지에 기여한다.
• 이 방법은 도메인 특화 패턴을 성공적으로 식별한다. 예를 들어, 정치 분야에서는 '만남', '동료로 참여' 등의 패턴, 엔터테인먼트 분야에서는 '여자 배우와', '주연으로 함께' 등의 패턴을 탐지함으로써 언어적 패턴과 사회 공동체 간의 강한 상관관계를 보여준다.
• 상호정보량 분석을 통해 '장관', '대통령', '경비', '배우', '스타', '남편' 등의 용어가 네트워크 도메인 분류에 매우 분류 능력이 높다는 것이 드러났다.
• 'and'에 해당하는 다국어 패턴(예: 'y', 'et', 'und')은 다국어 사회 네트워크 추출에 효과적이며, 이 방법의 적용 범위를 넓히는 데 기여한다.
• 추출된 네트워크는 높은 밀도와 공동체 유사 클러스터링 등의 의미 있는 구조적 특성을 보이며, 실제 사회적 관계를 반영하고 있다.