[論文レビュー] Using Artificial Intelligence to Identify State Secrets

Renato Rocha Souza, Flávio Codeço Coelho+2 more|arXiv (Cornell University)|Nov 1, 2016

Digital and Cyber Forensics被引用数 6

ひとこと要約

この論文は、1970年代のほぼ100万通の米国務省電報（1970s）を機械学習で分析し、分類を予測する特徴を特定した。90％の再現率を達成し、誤検出率は11％未満であった。分類における体系的な問題、すなわち過剰分類と不十分分類の問題が明らかになり、AI支援分類システムと、国家機密を識別する官僚間の信頼性向上の必要性が浮き彫りになった。

ABSTRACT

Whether officials can be trusted to protect national security information has become a matter of great public controversy, reigniting a long-standing debate about the scope and nature of official secrecy. The declassification of millions of electronic records has made it possible to analyze these issues with greater rigor and precision. Using machine-learning methods, we examined nearly a million State Department cables from the 1970s to identify features of records that are more likely to be classified, such as international negotiations, military operations, and high-level communications. Even with incomplete data, algorithms can use such features to identify 90% of classified cables with <11% false positives. But our results also show that there are longstanding problems in the identification of sensitive information. Error analysis reveals many examples of both overclassification and underclassification. This indicates both the need for research on inter-coder reliability among officials as to what constitutes classified material and the opportunity to develop recommender systems to better manage both classification and declassification.

研究の動機と目的

• 歴史的外交電報における国家機密の分類を予測する要因を分析すること。
• 不完全なデータを用いた機械学習が、機密情報の特定にどの程度正確に機能するかを評価すること。
• 分類文書における過剰分類および不十分分類の体系的問題を解明すること。
• AI駆動のレコメンドシステムが分類および解密意思決定を支援する可能性を評価すること。
• 機密情報を取り扱う官僚間の分類者間信頼性の向上に役立てる情報提供を行うこと。

提案手法

• 1970年代の米国務省電報約100万通のデータセットを用いて、教師あり機械学習モデルを学習した。
• 自然言語処理を用いて、トピック（例：軍事作戦、国際交渉）や言語的パターンなどの特徴を抽出した。
• 分類アルゴリズムを用いて、文書の内容およびメタデータに基づき、電報が分類済みかどうかを予測した。
• 標準的な指標を用いてモデルの性能を評価した：再現率（90％）および誤検出率（11％未満）。
• 過剰分類および不十分分類のパターンを特定するため、誤差分析を実施した。
• ラベル付けが不完全な状況下でも、解密済み記録を活用してモデルの学習および検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 どのテクスト的および文脈的特徴が、外交電報が分類済みであることを最も強く予測するか？
• RQ2 訓練データが不完全な状況下でも、機械学習が分類済み電報をどの程度正確に特定できるか？
• RQ3 現在の分類手法によって、何パーセントの分類済み電報が見逃されたり、誤ってマークされたりしているか？
• RQ4 過剰分類および不十分分類という体系的誤りが、文書タイプごとにどの程度継続的に存在するか？
• RQ5 AIシステムは、より信頼性が高く一貫性のある分類および解密意思決定を支援できるか？

主な発見

• 機械学習モデルは、分類済み電報の識別において90％の再現率を達成し、強力な検出能力を示した。
• モデルは誤検出率が11％未満を維持しており、分類の精度が非常に高いことを示した。
• 誤差分析により、広範な過剰分類および不十分分類が確認され、分類ルールの適用が一貫していないことが明らかになった。
• 軍事作戦や高レベルの外交を扱う文書タイプは、他のタイプよりも信頼性が高かった。
• 結果から、国家機密の定義を決定する官僚間の分類者間信頼性を向上させる明確な必要性が示された。
• 本研究は、分類および解密意思決定を支援するAI駆動のレコメンドシステムの開発への道を開いた。