[논문 리뷰] No Permanent Friends or Enemies: Tracking Relationships between Nations from News

Xiaochuang Han, Eunsol Choi외 1명|arXiv (Cornell University)|2019. 04. 18.

Media Studies and Communication참고 문헌 34인용 수 5

한 줄 요약

이 논문은 관계 메모리 네트워크(RMN)에 얕은 언어적 특징—예를 들어 동사적 서술어와 문맥적 명사—를 통합하여 뉴스 기사에서 국가 간의 동적 국제 관계를 추론하고 추적하는 비지도 신경망 모델을 제안한다. 이 모델은 해석 가능성과 시간적 추세 정확도를 향상시키며, 사용자 중 75.9%가 자연어 관계 기술어를 선호하고, 85.5%가 이전 모델보다 시간적 동역학을 더 선호함으로써, 미국-중국 관계 보도에서 지역 미디어의 프레임 차이를 드러낸다.

ABSTRACT

Understanding the dynamics of international politics is important yet challenging for civilians. In this work, we explore unsupervised neural models to infer relations between nations from news articles. We extend existing models by incorporating shallow linguistics information and propose a new automatic evaluation metric that aligns relationship dynamics with manually annotated key events. As understanding international relations requires carefully analyzing complex relationships, we conduct in-person human evaluations with three groups of participants. Overall, humans prefer the outputs of our model and give insightful feedback that suggests future directions for human-centered models. Furthermore, our model reveals interesting regional differences in news coverage. For instance, with respect to US-China relations, Singaporean media focus more on "strengthening" and "purchasing", while US media focus more on "criticizing" and "denouncing".

연구 동기 및 목표

• 사전에 정의된 관계에 의존하지 않고 뉴스 기사에서 국가 간의 동적 관계를 추론하고 추적할 수 있는 비지도 신경망 모델을 개발하는 것.
• 특히 동사적 서술어와 문맥적 명사를 포함한 얕은 언어적 특징을 관계 임베딩에 통합하여 모델의 해석 가능성을 향상시키는 것.
• 모델이 예측한 관계 추세가 수작업으로 주석 처리된 국제 관계의 핵심 사건과 일치하는 새로운 정량적 평가 지표를 제작하는 것.
• 다양한 참여자들을 대상으로 현장에서의 인간 평가를 실시하여 모델이 복잡한 지정학적 역학을 실제 세계에서 이해하는 데 얼마나 효과적인지 평가하는 것.
• 미디어 프레임의 지역적 차이, 예를 들어 미국 미디어와 싱가포르 미디어가 미국-중국 관계를 어떻게 다른 방식으로 보도하는지 드러내는 것.

제안 방법

• 관계 메모리 네트워크(RMN)를 확장하여 관계 기술어로 동사적 서술어와 의존성 파싱 및 품사 태깅에서 유도된 명사/고유명사로 문맥 신호를 통합한다.
• 임베딩 공간에서 문장 수준의 정보를 재구성할 수 있도록 어텐션 메커니즘을 갖춘 순차적-순차적 아키텍처를 사용하여 관계의 시간적 동역학을 유지한다.
• 사용자 지정된 의존성 파서와 품사 태거(spaCy)를 활용해 문장 내 국가 쌍을 포함한 문장에서 주어, 목적어, 문맥 기반 용어를 식별한다.
• 모델이 추론한 관계의 시간적 추세가 수작업으로 주석 처리된 핵심 사건과 일치하는 새로운 정량적 평가 지표를 도입하여 다양한 모델 간 객관적 비교를 가능하게 한다.
• NLP 연구자 및 정치학, 언어학 전공 학부생으로 구성된 세 그룹을 대상으로 인간 평가를 실시하여 관계 기술어와 시간적 동역학에 대한 선호도를 평가한다.
• 어텐션 메커니즘을 활용해 모델이 특정 단어에 집중하는 방식을 분석함으로써 추론된 관계의 문맥적 근거를 이해할 수 있다.

실험 결과

연구 질문

• RQ1 얕은 언어적 특징을 비지도 신경망 모델에 통합함으로써 뉴스에서 유추된 국제 관계의 해석 가능성과 정확도를 향상시킬 수 있는가?
• RQ2 새로운 평가 지표로 측정했을 때, 모델의 시간적 관계 추세는 실제 국제 관계의 핵심 사건과 얼마나 잘 일치하는가?
• RQ3 사용자 평가에서 인간 평가자들은 복잡한 지정학적 관계를 이해하는 데 있어 이 모델의 관계 기술어와 시간적 동역학을 이전 모델보다 선호하는가?
• RQ4 어텐션 메커니즘과 출력 추세를 통해 드러나는 국제 관계에 대한 미디어 프레임의 지역적 차이는 무엇인가?
• RQ5 비전문가 사용자가 대규모 뉴스 보도에서 변화하는 국제 관계를 더 잘 탐색할 수 있도록 NLP 모델을 어떻게 설계할 수 있는가?

주요 결과

• 모델은 사용자 중 75.9%가 자연어 기반의 국제 관계 기술어를 선호함으로써 기준 모델인 NoHyper 대비 유의미하게 높은 선호도를 기록했다.
• 시간적 추세 평가에서 참가자 85.5%가 이 모델의 동적 관계 궤적을 NoHyper 모델의 것보다 더 선호하여 실제 지정학적 사건과의 일치도가 높음을 시사한다.
• 모델은 명백한 지역 미디어 프레임 패턴을 드러냈다: 미국 미디어는 미국-중국 관계 보도에서 '비판'과 '비난'을 강조한 반면, 싱가포르 미디어는 '강화'와 '매입'에 초점을 맞췄다.
• 어텐션 메커니즘이 '비난하다', '선거'와 같은 핵심 서술어와 문맥 명사를 강조하여 모델이 관계 유형을 어떻게 유추하는지 설명하는 데 기여했다.
• 새로운 평가 지표는 모델 출력과 수작업 주석 처리 핵심 사건 간의 일치도를 성공적으로 정량화하여 비지도 관계 추적 모델의 객관적 벤치마킹을 가능하게 했다.
• 사용자 피드백에 따르면 사용자들은 시간적 동역학만으로는 의미를 유추하는 데 어려움을 겪었으며, 향후 모델에서는 서사 통합과 인지 일치성이 필요하다고 제안했다.