[논문 리뷰] Discursive Landscapes and Unsupervised Topic Modeling in IR: A Validation of Text-As-Data Approaches through a New Corpus of UN Security Council Speeches on Afghanistan

Mirco Schönfeld, Steffen Eckhard외 2명|arXiv (Cornell University)|2018. 10. 12.

Political Conflict and Governance참고 문헌 36인용 수 14

한 줄 요약

이 논문은 2001–2017년 기간 동안의 유엔 안전보장이사회 아프가니스탄 의제 연설을 분석함으로써 국제관계 분야에서 비지도 학습 주제모델링(LDA)의 타당성을 검증한다. 혼합 방법론을 통해 LDA 주제를 기존의 질적 연구 결과와 비교하고 연설자-주제 네트워크를 분석함으로써, LDA가 논의적 풍경을 신뢰성 있게 반영하며 '여성과 인권'과 같은 의미 있는 연대 구조를 드러내는 것으로 확인된다. 이는 국제관계 분야에서 텍스트를 데이터로 활용하는 접근법의 신뢰성을 높인다.

ABSTRACT

The recent turn towards quantitative text-as-data approaches in IR brought new ways to study the discursive landscape of world politics. Here seen as complementary to qualitative approaches, quantitative assessments have the advantage of being able to order and make comprehensible vast amounts of text. However, the validity of unsupervised methods applied to the types of text available in large quantities needs to be established before they can speak to other studies relying on text and discourse as data. In this paper, we introduce a new text corpus of United Nations Security Council (UNSC) speeches on Afghanistan between 2001 and 2017; we study this corpus through unsupervised topic modeling (LDA) with the central aim to validate the topic categories that the LDA identifies; and we discuss the added value, and complementarity, of quantitative text-as-data approaches. We set-up two tests using mixed- method approaches. Firstly, we evaluate the identified topics by assessing whether they conform with previous qualitative work on the development of the situation in Afghanistan. Secondly, we use network analysis to study the underlying social structures of what we will call 'speaker-topic relations' to see whether they correspondent to know divisions and coalitions in the UNSC. In both cases we find that the unsupervised LDA indeed provides valid and valuable outputs. In addition, the mixed-method approaches themselves reveal interesting patterns deserving future qualitative research. Amongst these are the coalition and dynamics around the 'women and human rights' topic as part of the UNSC debates on Afghanistan.

연구 동기 및 목표

• 대규모 국제관계 논의를 분석하는 데 있어 비지도 학습 주제모델링(LDA)이 신뢰할 수 있는 방법으로 작용하는지 검증하는 것.
• 학술적 목적을 위해 사용할 수 있도록 2001–2017년 기간 동안의 유엔 안전보장이사회 아프가니스탄 연설에 대한 새로운 종합적 코퍼스를 개발하고 공개하는 것.
• LDA로 특정된 주제가 아프가니스탄 분쟁의 진전에 관해 기존의 질적 연구 결과와 일치하는지 평가하는 것.
• 네트워크 분석을 통해 연설자-주제 관계의 사회적 구조를 탐색하여 안보이사회 내 실제 정치적 연대와 갈등을 탐지하는 것.
• 국제관계 연구에서 정량적 텍스트-기반 방법과 질적 논의 분석 간 상호보완성을 입증하는 것.

제안 방법

• 2001년부터 2017년까지의 아프가니스탄 의제에 관한 유엔 안전보장이사회 연설 1,052편으로 구성된 새로운 주석 처리 코퍼스를 구축했다.
• 말뭉치의 암묵적 주제적 구조를 식별하기 위해 비지도 학습 주제모델링으로 라틴 디리슈레트 분포(LDA)를 적용했다.
• 기존의 아프가니스탄 정치 및 안보 발전에 관한 질적 연구 결과와의 비교를 통해 혼합 방법론 기반의 타당성 검증을 수행했다.
• 각 연설문이 주로 다루는 LDA 주제에 따라 '연설자-주제 관계'를 맵핑하고, 이러한 관계를 기반으로 네트워크를 구축했다.
• 네트워크 분석을 통해 연설자-주제 연관성의 구조적 패턴을 분석하여 클러스터와 핵심 주체를 식별했다.
• 질적 타당성 검증과 알려진 지정학적 동적 변화와의 일치를 통해 주제의 일관성과 해석 가능성 평가를 수행했다.

실험 결과

연구 질문

• RQ1 유엔 안전보장이사회 아프가니스탄 연설에서 LDA가 특정한 주제들이 분쟁에 관해 문헌상으로 입증된 실증적·질적 주제와 일치하는가?
• RQ2 LDA로부터 유도된 연설자-주제 관계가 실제로 안보이사회 내 정치적 연대와 갈등을 어느 정도 반영하는가?
• RQ3 아프가니스탄에 관한 안보이사회 연설의 주제적 역동성은 시간이 지남에 따라 어떻게 변화하며, 이는 분쟁의 총괄적 흐름과 일치하는가?
• RQ4 비지도 학습 주제모델링이 복잡한 분쟁 환경에서 다자 외교의 논의적 풍경을 효과적으로 포착할 수 있는가?
• RQ5 주제모델링과 연설자-주제 패턴의 네트워크 분석이 결합될 경우, 외교적 조율과 이슈의 중요도에 관해 어떤 통찰이 도출되는가?

주요 결과

• LDA가 도출한 주제들, 예를 들어 '여성과 인권', '안보 부문 개혁' 등은 아프가니스탄 분쟁의 진전에 관한 질적 연구 결과와 밀접하게 일치한다.
• '여성과 인권' 주제는 다수의 상임 및 비상임 이사국 간 다각도의 지지를 받는 공통의 핵심 주제로 자리 잡았으며, 지속적인 지지 기반을 형성했다.
• 연설자-주제 관계의 네트워크 분석을 통해 인간권 및 안보 문제를 둘러싼 핵심 연대구조를 포함한 명확한 협력 클러스터가 드러났다.
• LDA 모델은 안정적이고 해석 가능한 10개의 주제를 성공적으로 식별하였으며, 주제의 일관성은 높고 의미 있는 주제적 차별성이 확보되었다.
• 혼합 방법론을 통한 검증을 통해 비지도 학습 주제모델링이 타당하고 해석 가능하며 정책적 관련성이 있는 결과를 도출할 수 있음을 입증하였다.
• LDA와 네트워크 분석의 통합을 통해 이동하는 동맹 구조나 이슈 중심의 연대구조 등 역동적인 외교 패턴이 드러났으며, 이는 향후 질적 연구의 대상이 되어야 할 만한 가치가 있다.