[論文レビュー] Discursive Landscapes and Unsupervised Topic Modeling in IR: A Validation of Text-As-Data Approaches through a New Corpus of UN Security Council Speeches on Afghanistan

Mirco Schönfeld, Steffen Eckhard+2 more|arXiv (Cornell University)|Oct 12, 2018

Political Conflict and Governance参考文献 36被引用数 14

ひとこと要約

本稿は、2001年から2017年までのアフガニスタンに関する国連安全保障理事会の演説を分析することで、国際関係分野における教師なしトピックモデリング（LDA）の妥当性を検証している。混合手法（LDAトピックを先行する定性的研究と比較し、スピーカー・トピックネットワークを分析）を用いることで、LDAが議論的状況を信頼性高く捉え、『女性と人権』といった意味のある連携関係を明らかにした。これは、国際関係研究におけるテキストをデータとして扱うアプローチの信頼性を高める。

ABSTRACT

The recent turn towards quantitative text-as-data approaches in IR brought new ways to study the discursive landscape of world politics. Here seen as complementary to qualitative approaches, quantitative assessments have the advantage of being able to order and make comprehensible vast amounts of text. However, the validity of unsupervised methods applied to the types of text available in large quantities needs to be established before they can speak to other studies relying on text and discourse as data. In this paper, we introduce a new text corpus of United Nations Security Council (UNSC) speeches on Afghanistan between 2001 and 2017; we study this corpus through unsupervised topic modeling (LDA) with the central aim to validate the topic categories that the LDA identifies; and we discuss the added value, and complementarity, of quantitative text-as-data approaches. We set-up two tests using mixed- method approaches. Firstly, we evaluate the identified topics by assessing whether they conform with previous qualitative work on the development of the situation in Afghanistan. Secondly, we use network analysis to study the underlying social structures of what we will call 'speaker-topic relations' to see whether they correspondent to know divisions and coalitions in the UNSC. In both cases we find that the unsupervised LDA indeed provides valid and valuable outputs. In addition, the mixed-method approaches themselves reveal interesting patterns deserving future qualitative research. Amongst these are the coalition and dynamics around the 'women and human rights' topic as part of the UNSC debates on Afghanistan.

研究の動機と目的

• 国際関係における大規模な議論を分析するための教師なしトピックモデリング（LDA）が信頼できる手法であるかどうかを検証すること。
• 学術的利用を目的として、2001年から2017年までのアフガニスタンに関する国連安全保障理事会の演説を収集した、新しい包括的コーパスを構築・公開すること。
• LDAが特定したトピックが、アフガニスタン情勢の変遷に関する既存の定性的な知見と整合するかどうかを評価すること。
• ネットワーク分析を用いてスピーカー・トピック関係の社会的構造を分析し、安全保障理事会内での実際の連携関係や分断状況を同定すること。
• 定量的テキストをデータとして扱う手法と定性的ディスコース分析の相補性が、国際関係研究においてどのように発揮されるかを示すこと。

提案手法

• 2001年から2017年までの、アフガニスタンに関する国連安全保障理事会の演説1,052件を収集した、新しいアノテート済みコーパスを構築した。
• 潜在ディリクレ分配（LDA）を用いて、スピーチ内の潜在的主題構造を特定する教師なしトピックモデリングを実施した。
• 先行するアフガニスタンの政治的・安全保障的動向に関する定性的研究の結果と照合することで、混合手法によるLDAトピックの妥当性を検証した。
• 各スピーチをその主要なLDAトピックに結びつけることで「スピーカー・トピック関係」をマッピングし、これらの関係をネットワークとして構築した。
• ネットワーク分析を用いて、スピーカー・トピック関係の構造的パターンを検討し、クラスターや中心的参加者を同定した。
• 定性的妥当性の確認と、既知の国際政治的ダイナミクスとの整合性を確認することで、トピックの整合性と解釈可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 国連安全保障理事会のアフガニスタンに関する演説におけるLDAが特定したトピックは、文献に記載された事実的かつ定性的に確立されたテーマと一致するか？
• RQ2 LDAから導かれたスピーカー・トピック関係は、安全保障理事会内での実際の政治的連携関係や分断状況をどの程度反映しているか？
• RQ3 アフガニスタンに関する安保理演説における主題的ダイナミクスは、時間の経過とともにどのように変化し、情勢の全体的推移と整合的か？
• RQ4 教師なしトピックモデリングは、複雑な紛争状況における多国間外交のディスコース的状況を効果的に捉えることができるか？
• RQ5 トピックモデリングとスピーカー・トピックパターンのネットワーク分析の交差点から、外交的連携や問題の重要度に関するどのような洞察が得られるか？

主な発見

• 『女性と人権』や『治安セクター改革』といったLDAが生成したトピックは、アフガニスタン情勢の変遷に関する定性的な知見と強く一致した。
• 『女性と人権』というトピックは、長期間にわたり、常任理事国および非常任理事国の複数にまたがる地域的連携を示す共通の焦点となった。
• スピーカー・トピック関係のネットワーク分析により、人権や安保全問題を巡るコアな連携グループが明確に特定された。
• LDAモデルは、10の安定的かつ解釈可能なトピックを的確に特定し、高いトピック整合性と意味的な主題差異を示した。
• 本研究は、混合手法による検証を経た教師なしトピックモデリングが、妥当で解釈可能かつ政策的関連性のある出力を得られることを示した。
• LDAとネットワーク分析の統合により、動的な外交的パターン（例えば、連携の変化や問題別連合）が明らかとなり、今後の定性的な検証が求められるものであった。