[논문 리뷰] Unsupervised embedding of trajectories captures the latent structure of scientific migration

Dakota Murray, Jisung Yoon외 5명|arXiv (Cornell University)|2020. 12. 04.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

이 논문은 과학적 이주 경로의 조밀하고 연속적인 벡터 표현을 학습하기 위해 word2vec 모델을 사용하며, 위치 순서를 '문장'으로 간주하여 문화적, 언어적, 명성 기반의 유사성을 포함한 잠재적 구조적 관계를 포착한다. 이 방법은 이동성의 중력 모델과 수학적으로 동치인 표현을 제공하며, 임베딩이 다층적인 이주 패턴을 캡처하여 정확한 기능적 거리 추정이 가능하게 하고, 기관 간의 계층적 조직 구조와 명성 및 이동성 추세를 드러낸다.

ABSTRACT

Human migration and mobility drives major societal phenomena including epidemics, economies, innovation, and the diffusion of ideas. Although human mobility and migration have been heavily constrained by geographic distance throughout the history, advances and globalization are making other factors such as language and culture increasingly more important. Advances in neural embedding models, originally designed for natural language, provide an opportunity to tame this complexity and open new avenues for the study of migration. Here, we demonstrate the ability of the model word2vec to encode nuanced relationships between discrete locations from migration trajectories, producing an accurate, dense, continuous, and meaningful vector-space representation. The resulting representation provides a functional distance between locations, as well as a digital double that can be distributed, re-used, and itself interrogated to understand the many dimensions of migration. We show that the unique power of word2vec to encode migration patterns stems from its mathematical equivalence with the gravity model of mobility. Focusing on the case of scientific migration, we apply word2vec to a database of three million migration trajectories of scientists derived from the affiliations listed on their publication records. Using techniques that leverage its semantic structure, we demonstrate that embeddings can learn the rich structure that underpins scientific migration, such as cultural, linguistic, and prestige relationships at multiple levels of granularity. Our results provide a theoretical foundation and methodological framework for using neural embeddings to represent and understand migration both within and beyond science.

연구 동기 및 목표

• 지리적 거리 이외의 다차원적 구조를 과학적 이주 구조에서 포착하기 위한 방법을 개발하기 위해.
• 이주 경로의 word2vec 임베딩이 높은 정밀도로 기능적 거리를 모델링할 수 있음을 입증하기 위해.
• 대규모 이주 데이터에서 문화적 유사성, 언어 유사성, 기관의 명성과 같은 잠재적 관계를 드러내기 위해.
• 임베딩 공간이 이동성 패턴과 기관 순위 분석을 위한 후속 분석을 지원하는 '디지털 듀얼'로 기능함을 검증하기 위해.
• word2vec과 인간 이동의 중력 모델 간 이론적 연결을 수립하기 위해.

제안 방법

• 학술 논문 기록 내 기관 소속 순서를 자연어 코퍼스의 '문장'으로 간주하기.
• word2vec의 스킵그램과 음성 샘플링(SGNS) 변형을 적용하여 기관의 조밀한 벡터 표현을 학습하기.
• 결과 임베딩 벡터를 사용해 코사인 유사도 기반으로 기관 간 기능적 거리를 계산하기.
• 임베딩 공간의 의미적 구조를 활용해 문화적, 언어적, 명성 기반의 관계를 분석하기.
• 임베딩이 예측한 기능적 거리와 중력 모델이 예측한 거리를 비교하여 모델을 검증하기.
• 차원 감소 및 군집 기법을 적용해 기관 이동의 계층적 패턴을 드러내기.

실험 결과

연구 질문

• RQ1 word2vec 임베딩이 기관 간 기능적 거리를 지리적 접근성 이외의 요소까지 정확히 포착할 수 있는가?
• RQ2 학습된 임베딩이 기관 간 문화적, 언어적, 명성 기반의 관계를 어느 정도 반영하는가?
• RQ3 임베딩 공간은 중력 모델의 이동 패턴 예측과 비교해 어떻게 다른가?
• RQ4 임베딩 벡터의 노름은 기관의 규모, 명성 또는 자금 수준을 예측할 수 있는가?
• RQ5 다양한 기관 수준에서 임베딩 공간을 분석할 때 어떤 이동성의 구조적 패턴이 드러나는가?

주요 결과

• word2vec 모델은 이동성의 중력 모델과 수학적으로 동치이며, 이주 분석에 응용할 수 있는 이론적 기반을 제공한다.
• 임베딩 기반의 기능적 거리는 실제 이주 유량과 유의미하게 상관되며, 지리 외의 다층적 관계를 포착한다.
• 임베딩 순위와 기관의 명성(타임스 순위) 간 스피어만 순위 상관계수는 지역 대학에서 ρ = 0.49, 연구소에서 ρ = 0.58, 정부 기관에서 ρ = 0.36를 기록하며 모두 p < 0.001.
• 기관 임베딩 벡터의 L2 노름은 기관 규모, 연구 자금(S&E), 박사 학위 수여 수, 순위와 강하게 상관되며 모두 p < 0.001.
• 30개 국가에서 관찰된 기관 규모와 임베딩 벡터 노름 간의 오목한 관계는 임베딩 공간 내 기관 영향력의 비선형 스케일링을 시사한다.
• 이동 패턴은 엘리트 기관과 최하위 기관에서 내부 이동이 과도하게 높게 나타나며, 중간 수준 기관은 약한 방향성 유사성을 보이며, 이는 이중 구조의 이동 패턴을 시사한다.