[논문 리뷰] Using Artificial Intelligence to Identify State Secrets

Renato Rocha Souza, Flávio Codeço Coelho외 2명|arXiv (Cornell University)|2016. 11. 01.

Digital and Cyber Forensics인용 수 6

한 줄 요약

이 논문은 1970년대에 걸쳐 거의 백만 건의 미국 외교부 비밀 외교문서를 기반으로 기계학습을 활용하여 분류를 예측하는 데 영향을 주는 특징을 규명하였으며, 90퍼센트의 재현율과 11퍼센트 미만의 거짓 양성률을 달성하였다. 이는 과도하게 또는 부족하게 분류되는 체계적 문제를 드러내며, 인공지능 기반 분류 시스템과 공무원 간의 분류 신뢰성 향상이 필요하다는 점을 시사한다.

ABSTRACT

Whether officials can be trusted to protect national security information has become a matter of great public controversy, reigniting a long-standing debate about the scope and nature of official secrecy. The declassification of millions of electronic records has made it possible to analyze these issues with greater rigor and precision. Using machine-learning methods, we examined nearly a million State Department cables from the 1970s to identify features of records that are more likely to be classified, such as international negotiations, military operations, and high-level communications. Even with incomplete data, algorithms can use such features to identify 90% of classified cables with <11% false positives. But our results also show that there are longstanding problems in the identification of sensitive information. Error analysis reveals many examples of both overclassification and underclassification. This indicates both the need for research on inter-coder reliability among officials as to what constitutes classified material and the opportunity to develop recommender systems to better manage both classification and declassification.

연구 동기 및 목표

• 역사적 외교문서에서 국가 기밀로 분류되는 데 영향을 주는 특징을 분석하는 것.
• 부분적인 데이터로도 민감한 정보를 식별하는 데 기계학습의 성능을 평가하는 것.
• 기밀 문서의 과도한 및 부족한 분류와 관련된 체계적 문제를 밝혀내는 것.
• AI 기반 추천 시스템이 분류 및 해제 과정에서의 결정을 지원하는 데 실현 가능한지 평가하는 것.
• 기밀 정보를 다루는 공무원 간의 상호 평가 신뢰성 향상을 위한 정보를 제공하는 것.

제안 방법

• 1970년대 미국 외교부 외교문서 약 백만 건의 데이터셋을 기반으로 지도 학습 모델을 훈련시켰다.
• 자연어 처리 기법을 활용해 주제(예: 군사 작전, 국제 협상 등) 및 언어 패턴과 같은 특징을 추출하였다.
• 문서의 내용과 메타데이터를 바탕으로 특정 외교문서가 기밀로 분류되었는지 예측하기 위해 분류 알고리즘을 적용하였다.
• 표준 평가 지표를 사용해 모델 성능을 평가하였으며, 재현율(90퍼센트)과 거짓 양성률(11퍼센트 미만)을 기준으로 하였다.
• 문서 유형별로 과도한 분류 및 부족한 분류의 패턴을 파악하기 위해 오류 분석을 수행하였다.
• 완전한 레이블링이 어려운 상황이었음에도 불구하고, 해제된 기록을 활용해 모델을 훈련 및 검증하였다.

실험 결과

연구 질문

• RQ1 어떤 텍스트적 및 맥락적 특징이 외교문서가 기밀로 분류될 가능성을 가장 강하게 예측하는가?
• RQ2 훈련 데이터가 불완전한 상황에서 기계학습이 기밀 외교문서를 얼마나 정확하게 식별할 수 있는가?
• RQ3 현재의 분류 관행에서 기밀 외교문서 중 얼마나 많은 비율이 놓치거나 잘못 표시되는가?
• RQ4 다양한 문서 유형 간에 과도한 및 부족한 분류 오류가 얼마나 광범위하게 지속되는가?
• RQ5 AI 시스템을 통해 보다 신뢰성 있고 일관성 있는 분류 및 해제 결정을 지원할 수 있는가?

주요 결과

• 기계학습 모델은 기밀 외교문서 식별에서 90퍼센트의 재현율을 달성하여 강력한 탐지 능력을 보였다.
• 모델은 11퍼센트 미만의 거짓 양성률을 유지하여 분류의 정밀도가 높음을 시사하였다.
• 오류 분석 결과, 광범위한 과도한 분류 및 부족한 분류가 나타나며, 분류 기준의 일관성 부족을 드러냈다.
• 군사 작전이나 고위 수준 외교를 포함한 일부 문서 유형은 다른 유형보다 더 신뢰성 있게 분류되었다.
• 결과적으로, 국가 기밀로 간주되는 사항을 판단하는 데 공무원 간의 상호 평가 신뢰성 향상이 명백히 필요하다는 점을 입증하였다.
• 본 연구는 AI 기반 추천 시스템을 개발해 분류 및 해제 결정 지원에 기여할 수 있는 길을 열었다.