[논문 리뷰] Artificial Intelligence Strategies for National Security and Safety Standards

Erik Blasch, James Sung외 3명|arXiv (Cornell University)|2019. 11. 03.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 11

한 줄 요약

이 논문은 국가안보 및 안전 기준—특히 정보국 지침 203(ICD 203)을 인공지능 시스템 개발의 모든 단계에 통합하여, 인공지능 기반 결정의 투명성과 신뢰도를 향상시키는 것을 제안한다. 기계 출력물에 인간 분석에 적용되는 동일한 엄격한 분석 기준을 적용함으로써, '블랙박스' 시스템에 대한 의존도를 줄이고 고위험 안보 환경에서의 책임성을 향상시킨다.

ABSTRACT

Recent advances in artificial intelligence (AI) have lead to an explosion of multimedia applications (e.g., computer vision (CV) and natural language processing (NLP)) for different domains such as commercial, industrial, and intelligence. In particular, the use of AI applications in a national security environment is often problematic because the opaque nature of the systems leads to an inability for a human to understand how the results came about. A reliance on 'black boxes' to generate predictions and inform decisions is potentially disastrous. This paper explores how the application of standards during each stage of the development of an AI system deployed and used in a national security environment would help enable trust. Specifically, we focus on the standards outlined in Intelligence Community Directive 203 (Analytic Standards) to subject machine outputs to the same rigorous standards as analysis performed by humans.

연구 동기 및 목표

• 국가안보 분야에서 사용되는 인공지능 시스템의 투명성과 감사 가능성 부족 문제를 해결한다. 이는 결정의 결과가 고위험일 수 있음을 고려할 때 중요하다.
• 투명하지 않은 인공지능 시스템('블랙박스')이 인간의 이해와 감시를 방해함으로써 초래하는 위험을 규명한다.
• 정보국 지침 203 등 기존 인간 분석 기준을 인공지능 생성 출력물에 적용하기 위한 프레임워크를 제안한다.
• 인간 지능 분석에 적용되는 기준과 동일한 기준을 기계 기반 분석에 적용함으로써 인공지능의 신뢰성과 신뢰도를 향상시킨다.
• 방위 및 정보 분야 응용 분야에서 책임감 있고 설명 가능하며 감사 가능한 인공지능 시스템의 개발을 지원한다.

제안 방법

• 원래 인간 분석가를 대상으로 한 정보국 지침 203(ICD 203) 기준을 인공지능 시스템 출력물에 적용할 수 있도록 적응시킨다.
• 인공지능 라이프사이클의 각 단계(데이터 수집, 모델 훈련, 추론, 의사결정 지원)를 해당 분석 기준에 대응시킨다.
• 인공지능이 도출한 결론의 문서화, 추적 가능성, 정당화를 요구함으로써 인간 분석의 엄격함을 모방한다.
• 인간의 검토와 검증이 가능하도록 하기 위해 인공지능 시스템의 설명 가능성과 감사 가능성의 필요성을 강조한다.
• 관련성, 정확성, 근거와의 일관성 등의 기준에 따라 인공지능 출력물을 평가하기 위한 구조화된 프레임워크를 사용한다.
• 개발부터 배포에 이르기까지 표준을 인공지능 개발 파이프라인에 통합하여 준수를 보장한다.

실험 결과

연구 질문

• RQ1 기존의 국가안보 분석 기준을 어떻게 인공지능 시스템 출력물에 적용할 수 있는가?
• RQ2 신뢰도와 책임성에 영향을 주는 인간과 인공지능이 생성한 지능 간의 핵심 차이점은 무엇인가?
• RQ3 ICD 203 기준이 인공지능 개발 및 배포 워크플로우에 얼마나 실질적으로 적용될 수 있는가?
• RQ4 고위험 환경에서 표준화된 프로세스를 통해 인공지능의 투명성과 설명 가능성은 어떻게 향상될 수 있는가?
• RQ5 인공지능 결정이 인간 분석과 동일한 심층 검토를 받을 수 있도록 보장하는 메커니즘은 무엇인가?

주요 결과

• ICD 203 기준을 인공지능 출력물에 적용함으로써 국가안보 응용 분야에서 투명성과 감사 가능성의 향상이 크게 이루어진다.
• 이 프레임워크는 인간 분석가가 인간 분석에 적용되는 동일한 엄격한 기준을 사용하여 인공지능이 도출한 결론을 검증하고 도전할 수 있도록 한다.
• 이식성과 추적 가능성의 강제화를 통해 투명하지 않은 인공지능 시스템에 대한 과도한 의존 위험을 줄인다.
• 이 접근법은 책임감 있는 의사결정이나 결함 없는 결정 품질을 훼손하지 않으면서도 인공지능을 정보 워크플로우에 통합하는 데 기여한다.
• 논문은 인간 분석가가 적용하는 동일한 기준으로 통제될 경우 인공지능 시스템이 더 신뢰할 수 있음을 입증한다.
• 제안된 전략은 국가안보 기관 내에서 인공지능에 대한 신뢰를 제도화하기 위한 실용적인 길을 제공한다.