[논문 리뷰] Mining Events with Declassified Diplomatic Documents

Yuanjun Gao, Jack Goetz외 2명|arXiv (Cornell University)|2017. 12. 20.

Statistical Methods and Inference참고 문헌 16인용 수 3

한 줄 요약

이 논문은 1973–1977년 기간의 기밀 해제된 미국 외교부 케이블에서 통신의 급증을 자동으로 식별하기 위한 통계적 프레임워크를 제안한다. 이는 태깅된 통신 스트림에 비모수적 신호 추정과 가설 검정을 적용하여, 사우공의 낙착과塞浦러스 쿠데타와 같은 주요 역사적 사건과 관련된 통계적으로 유의미한 통신 급증을 높은 정확도로 식별한다. 이는 기존의 역사적 기록과 검증된 바 있다.

ABSTRACT

Since 1973 the State Department has been using electronic records systems to preserve classified communications. Recently, approximately 1.9 million of these records from 1973-77 have been made available by the U.S. National Archives. While some of these communication streams have periods witnessing an acceleration in the rate of transmission; others do not show any notable patterns in communication intensity. Given the sheer volume of these communications -- far greater than what had been available until now -- scholars need automated statistical techniques to identify the communications that warrant closer study. We develop a statistical framework that can semi-automatically identify from a large corpus of documents a handful that historians would consider more interesting electronic records. Our approach brings together related but distinct statistical concepts from nonparametric signal estimation and statistical hypothesis testing -- which when put together help us identify and analyze various geometrical aspects of the communication streams. Dominant periods of heightened and sustained activities aka bursts, as identified through these methods, correspond well with historical events recognized by standard reference works on the 1970s.

연구 동기 및 목표

• 대규모 기밀 해제 외교 케이블에서 역사적으로 의미 있는 통신 급증을 자동으로 식별하기 위한 통계 기법을 개발한다.
• 대규모 문서 코퍼스에서 수작업 분석의 과제를 해결하기 위해 시간에 따른 통신 강도의 통계적으로 흥미로운 패턴을 탐지한다.
• 1970년대에 대한 표준 참고 자료를 기반으로 검출된 급증을 역사적 사건과 비교 검증한다.
• 언어 처리를 피하고 이벤트 관련 통신 스트림에 집중하기 위해 메타데이터 태그(TAGS)를 활용하는 확장 가능한 방법을 만든다.
• 세그멘테이션과 글로벌 검정 프레임워크의 조합을 통해 일시적인 급증과 지속적인 급증을 구분한다.

제안 방법

• 비모수적 신호 추정을 적용하여 시간에 따른 통신 강도를 모델링하고 급격한 변화 및 지속적인 급증을 식별한다.
• 관측된 통신 패턴이 무작위 변동의 근본 모델에서 유의미하게 벗어나는지 평가하기 위해 글로벌 가설 검정 프레임워크를 사용한다.
• 세그멘테이션 모델의 $\boldsymbol{\beta}$-업데이트를 해결하기 위해 ADMM 기반 최적화 알고리즘을 활용하여 효율적인 계산을 가능하게 한다.
• 비틀림을 통한 $\boldsymbol{\rho}$-업데이트를 적용하여 희박성과 유의미한 변화점 탐지의 촉진을 보장한다.
• $\boldsymbol{\nu}$-업데이트를 통해 제약 조건을 강제하고 반복 과정에서 이중 변수 일관성을 유지한다.
• p-값과 급증 강도에 따라 통신 스트림을 순위 매기며, 활동 증가의 급격한 급증과 점진적 증가 사이를 구분한다.

실험 결과

연구 질문

• RQ1 외교적 통신 스트림에서 관찰된 통계적 패턴 중 역사적으로 중요한 사건과 관련된 것은 무엇인가?
• RQ2 언어 처리에 의존하지 않고 대규모 기밀 해제 외교 케이블에서 활동 급증을 자동으로 탐지할 수 있는 방법은 무엇인가?
• RQ3 검출된 통신 급증이 표준 참고 자료에서 알려진 역사적 사건과 어느 정도 일치하는가?
• RQ4 비모수적 신호 추정과 가설 검정의 조합이 시간 시리즈 데이터에서 의미 있는 통신 급증을 신뢰성 있게 식별할 수 있는가?
• RQ5 다양한 유형의 통신 급증(예: 갑작스러운 급증 대비 지속적인 증가)은 특정 지정학적 사건과 어떻게 관련되어 있는가?

주요 결과

• 가장 높은 급증이 관찰된 태그는 'ETRN'(경제 사무-교통)로, 1973년 7월부터 1974년 8월까지 지속되었으며, 급증 강도는 5146.05였다.
• 가장 강한 급증은 'VS'(남베트남)에서 발생했으며, 1975년 4월 25일에 정점에 도달했고, 급증 강도는 1150.46였다. 이는 사파이의 낙착과 관련이 있었다.
• 'CY'(키프로스)와 'XF'(중동)의 급증은 각각 1974년 키프로스 쿠데타와 1973년 요무 킷푸르 전쟁과 관련이 있었으며, 강력한 통계적 유의성을 보였다.
• 이 방법은 통계적으로 유의미한 급증 30건을 성공적으로 식별했으며, 'SREF'(난민)와 'SF'(남아프리카)와 같은 주요 스트림의 p-값은 0.001 이하였다.
• 'FI'(핀란드)처럼 p-값이 0.1를 초과하는 통신 스트림은 특별한 활동이 없었으며, 이는 메서드가 의미 없는 데이터를 효과적으로 걸러내는 능력을 검증한다.
• 이 프레임워크는 'SHUM'(인권)과 'US'(미국)에서의 지속적인 활동을 정확히 탐지했으며, 이는 1970년대 동안 문서화된 외교적 참여와 일치했다.