[논문 리뷰] A Methodology to Extract Social Network from the Web Snippet

Mahyuddin K. M. Nasution, Shahrul Azman Mohd Noah|arXiv (Cornell University)|2012. 11. 26.

Web Data Mining and Analysis참고 문헌 8인용 수 6

한 줄 요약

이 논문은 검색 기반의 동시 발생, 싱글릿 및 듀얼릿 히트 수, URL 분석을 바탕으로 한 표면적 방법을 사용하여 웹 스니펫에서 사회적 네트워크를 추출하는 반자동적 방법론을 제안한다. 연관 규칙과 자카르 계수와 같은 유사도 측정법을 적용함으로써, 쿼리 복잡도를 O(n²)로 감소시키면서 비정형 웹 데이터로부터 확장 가능하고 동적일 수 있는 사회적 네트워크 모델링을 가능하게 한다.

ABSTRACT

The Web has been chosen as a basic infrastructure to gain the social structure information, through the social network extraction, from all over the world. However, most of the web documents are unstructured and lack of semantics. Moreover, that network is subject to all kinds of changes and dynamics, and a network can be very complex due to the large number of nodes and links Web contains. In this paper, we discuss a methodology that meant to assists in extracting and modeling the social network from Web snippet. As the manual social network extraction of web documents is impractical and unscalable, and fully automated extraction are still at the very early stage to be implemented, we proposed a (semi)-automatic extraction based on the superficial methods.

연구 동기 및 목표

• 비정형이고 의미적으로 풍부하지 않은 웹 문서에서 확장 가능하고 동적일 수 있는 사회적 네트워크를 추출하는 데 도전하는 것.
• 중복된 검색 엔진 쿼리를 최소화하여 사회적 네트워크 추출의 계산 및 쿼리 부담을 줄이는 것.
• 관계 탐지에 표면적 웹 콘텐츠(이름, 키워드, URL)를 활용하는 실용적이고 비지도 학습 기반의 방법론을 개발하는 것.
• 공동 발생 통계와 자카르 계수와 같은 유사도 측정법을 사용하여 행위자 간의 관계 강도를 모델링하는 것.
• 검색 엔진 히트 수와 스니펫 분석을 활용한 규칙 기반 추론을 통해 잠재적 사회적 관계를 탐지할 수 있도록 하는 것.

제안 방법

• 행위자 쌍 간 잠재적 관계를 탐지하기 위해 규칙 기반 접근법(규칙 1)을 사용하며, 이는 그들의 이름이 비어 있지 않은 교차를 포함하는 웹 스니펫에서 동시 발생하는지를 확인한다.
• 검색 엔진 쿼리에서 싱글릿(|a|) 및 듀얼릿(|a ∩ b|) 히트 수를 적용하여 관계 강도를 추정한다.
• 자카르 계수: sim(t_a, t_b) = |a ∩ b| / (|a| + |b| - |a ∩ b|)와 같은 유사도 측정법을 사용하여 관계 강도를 정량화한다.
• 도메인 특화 키워드를 통합하여 공통 발생 편향을 줄이는 강도 관계 키워드 포함(SRwK)을 도입한다.
• URL 구조를 활용하여 기본적인 관계 강도를 유추한다(USR) — URL 토큰과 도메인 이름을 관계 강도의 지표로 간주한다.
• 규칙 기반 필터링을 통해 중복 쿼리를 제거함으로써 n명의 행위자에 대해 총 쿼리 수를 ≤ n(n-1)/2로 감소시킨다.

실험 결과

연구 질문

• RQ1 의미적 애너테이션에 거의 의존하지 않고 비정형 웹 스니펫에서 사회적 네트워크 관계를 어떻게 추출할 수 있는가?
• RQ2 대규모 사회적 네트워크 추출에서 쿼리 효율성과 관계 정확성 사이의 최적 균형은 무엇인가?
• RQ3 싱글릿 및 듀얼릿 공통 발생 통계를 어떻게 활용하여 행위자 간의 의미 있는 관계 강도를 유추할 수 있는가?
• RQ4 URL 구조와 키워드 보완은 검출된 관계의 신뢰성에 얼마나 기여하는가?
• RQ5 쿼리 부담을 최소화하면서도 사회적 네트워크 추출의 확장성을 유지할 수 있는 규칙 기반 전략은 무엇인가?

주요 결과

• 제안된 방법론은 n명의 행위자에 대해 필요한 쿼리 수를 ≤ n(n-1)/2로 줄여 확장성을 크게 향상시킨다.
• 규칙 1은 검색 결과에서 그들의 이름이 비어 있지 않은 교차를 보이는지를 확인함으로써 행위자 쌍 간의 잠재적 관계를 성공적으로 탐지한다.
• 싱글릿 및 듀얼릿 히트 수에 자카르 유사도를 적용함으로써 관계 강도를 정량적으로 추정할 수 있다.
• 키워드 통합(SRwK)은 관련 없는 히트를 걸러내어 공통 발생 기반의 관계 추정에서 편향을 줄인다.
• URL 기반 분석(USR)은 기본 관계 강도에 대한 추가적인 증거를 제공하며, 다중 소스 검증을 지원한다.
• 이 방법은 사전 레이블링된 데이터나 복잡한 NLP 파ip라인을 요구하지 않으며, 웹 스니펫에서 동적이고 비지도 학습 기반의 사회적 네트워크 모델링을 지원한다.