[논문 리뷰] Word Embedding for Social Sciences: An Interdisciplinary Survey

Akira Matsui, Emilio Ferrara|arXiv (Cornell University)|2022. 07. 07.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 종합 검토는 사회과학 분야에서 단어 임베딩 응용에 대한 포괄적인 분류 체계를 제공하며, 주로 word2vec 및 관련 모델을 활용해 텍스트 및 비텍스트 데이터에서 의미적 표현을 추출한다. 연구는 방법론적 추세를 부각하고 유사도 측정의 일관성 문제를 경고하며, 단어 임베딩이 정성적 및 정량적 연구 간 변수 구축을 가능하게 한다는 점을 보여준다.

ABSTRACT

To extract essential information from complex data, computer scientists have been developing machine learning models that learn low-dimensional representation mode. From such advances in machine learning research, not only computer scientists but also social scientists have benefited and advanced their research because human behavior or social phenomena lies in complex data. However, this emerging trend is not well documented because different social science fields rarely cover each other's work, resulting in fragmented knowledge in the literature. To document this emerging trend, we survey recent studies that apply word embedding techniques to human behavior mining. We built a taxonomy to illustrate the methods and procedures used in the surveyed papers, aiding social science researchers in contextualizing their research within the literature on word embedding applications. This survey also conducts a simple experiment to warn that common similarity measurements used in the literature could yield different results even if they return consistent results at an aggregate level.

연구 동기 및 목표

• 비정형 또는 비표준 데이터 분석에 단어 임베딩 기법을 적용하는 경향이 증가하고 있음을 기록하기 위해.
• 사회과학 응용에서의 방법론적 명확성 부족 문제를 해결하기 위해 단어 임베딩 사용에 대한 표준화된 분류 체계를 수립하기 위해.
• 텍스트 외의 분야로 확장된 응용, 예를 들어 온라인 커뮤니티 상호작용과 같은 비텍스트 인간 행동 데이터를 포함한 신규 응용을 식별하고 논의하기 위해.
• 단어 임베딩 분석에서 사용되는 유사도 측정의 잠재적 일관성 문제에 대해 연구자들에게 경고하기 위해, 즉 집합적 결과가 일관되게 보일지라도 개인 수준에서는 결과가 다를 수 있음을 강조하기 위해.
• 컴퓨터 과학과 사회과학 간 격차를 메우기 위해, word2vec 및 관련 모델이 다학제적 연구에서 효과적이고 철저하게 적용될 수 있는 방법을 명확히 하기 위해.

제안 방법

• 사회과학 연구자들이 단어 임베딩 모델을 어떻게 사용하는지 분류하기 위해 9개의 레이블로 구성된 분류 체계를 개발하였으며, 주로 변수 정의, 기준어, 이론적 기반에 중점을 두었다.
• 다양한 사회과학 분야에서 나온 27편의 학술지 논문 및 워킹 페퍼를 검토하여, 방법론적 선택에 따라 분류 체계에 따라 분류하였다.
• 주로 사전 학습된 word2vec 모델(예: CBOW, 음성 샘플링을 사용한 skip-gram)을 주요 도구로 활용하였으며, 저차원 의미 표현을 위한 그 활용에 중점을 두었다.
• 일반적인 유사도 측정 지표(예: 코사인 유사도, 유클리드 거리)를 비교하기 위한 단순한 실험을 수행하여, 집합적 결과는 일관되지만 개인 수준에서는 결과가 다를 수 있음을 입증하였다.
• 사람이 레이블링하지 않은 데이터에 의존하지 않고, 온라인 커뮤니티(예: Reddit 서브레딧)에서의 활동 패턴을 통해 암묵적 변수인 정당성, 감성, 인구 통계적 특성 등을 추론하기 위해 단어 임베딩 기법을 적용하였다.
• 비텍스트적 맥락에서 작업 변수를 정의하기 위해 기준어(예: 'democrats'와 'conservatives')의 사용을 강조하여, 언어에 종속되지 않은 데이터 기반 변수 구축을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 word2vec을 포함한 단어 임베딩 모델은 전통적인 텍스트 분석을 넘어 다양한 사회과학 분야에서 어떻게 적용되고 있는가?
• RQ2 사회과학 연구에서 연구 변수를 구축하기 위해 단어 임베딩을 사용할 때 나타나는 방법론적 패턴은 무엇인가?
• RQ3 단어 임베딩 분석에서 일반적으로 사용되는 유사도 측정 지표는 집합적 수준에서는 일관된 결과를 보일 수 있지만, 개인 수준에서는 일관성이 없는가?
• RQ4 단어 임베딩 모델은 온라인 커뮤니티에서의 비텍스트적 또는 간접적인 행동 데이터를 기반으로 사회적 특성(예: 정당성, 성별, 연령)을 어떻게 추론할 수 있는가?
• RQ5 정성적 및 다학제적 사회과학 연구에 단어 임베딩를 적용할 때의 주요 과제와 제약 조건은 무엇인가?

주요 결과

• 단어 임베딩 모델은 금융 및 경영 과학과 같은 정량적 분야뿐 아니라 역사, 문화 연구, 정치학과 같은 정성적 분야에서도 점점 더 널리 사용되고 있다.
• 주목할 만한 추세는 Reddit와 같은 플랫폼에서 'democrats'와 'conservatives'와 같은 기준어를 통해 연구 변수를 간접적으로 정의하는 방식으로, 데이터 기반의 언어에 종속되지 않는 변수 구축이 가능하다는 점이다.
• 이 연구는 코사인 유사도와 유클리드 거리와 같은 유사도 측정 지표가 집합적 결과는 일관되게 보일지라도 개인 수준에서는 결과가 다를 수 있음을 드러내며, 이는 중요한 방법론적 리스크를 시사한다.
• 응용 범위는 텍스트를 넘어선다. 온라인 커뮤니티의 사용자 활동 패턴과 같은 비텍스트적 행동 데이터를 기반으로 사회적 특성을 추론함으로써, 단어 임베딩가 사회적 현상을 포괄하는 데 있어 뛰어난 유연성을 보여준다.
• 이 종합 검토에서 개발한 분류 체계는 사전 학습된 모델 사용, 기준 기반 변수 정의, 군집화 또는 예측 작업 등의 반복적인 방법론적 패턴을 식별하였으며, 향후 연구 설계에 가이드 역할을 할 수 있다.
• 광범위하게 사용되고 있음에도 불구하고, 많은 사회과학 논문에서 CBOW 또는 skip-gram 모델을 사용하는지 명시하지 않아, 단어 임베딩 응용에 대한 방법론적 투명성 향상이 필요하다는 점을 시사한다.