[논문 리뷰] AI Forensics: Did the Artificial Intelligence System Do It? Why?

Johannes Schneider, Frank Breitinger|arXiv (Cornell University)|2020. 05. 27.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 6

한 줄 요약

이 논문은 사고의 원인으로서의 인공지능 시스템을 특정하고 그 동기를 규명하기 위한 프레임워크를 제안한다. 특히 악성 설계나 뜻하지 않은 행동의 경우를 중심으로 다룬다. 강화학습과 합성곱 신경망에 대한 사례 연구를 통해, AI 포렌식은 깊이 있는 머신러닝 전문 지식을 필요로 하며, 추적 가능한 데이터를 확보하고 AI 시스템을 유일하게 식별할 수 있도록 하는 법적 의무화가 필요하다는 점을 입증한다.

ABSTRACT

In an increasingly autonomous manner AI make decisions impacting our daily life. Their actions might cause accidents, harm or, more generally, violate regulations -- either intentionally or not. Thus, AI might be considered suspects for various events. Therefore, it is essential to relate particular events to an AI, its owner and its creator. Given a multitude of AI from multiple manufactures, potentially, altered by their owner or changing through self-learning, this seems non-trivial. This paper discusses how to identify AI responsible for incidents as well as their motives that might be malicious by design. In addition to a conceptualization, we conduct two case studies based on reinforcement learning and convolutional neural networks to illustrate our proposed methods and challenges. Our cases illustrate that catching AI systems seems often far from trivial and requires extensive expertise in machine learning. Legislative measures that enforce mandatory information to be collected during operation of AI as well as means to uniquely identify might facilitate the problem.

연구 동기 및 목표

• 일상생활에서 자율적 AI 시스템으로 인한 사고를 원인 규명하는 문제에 대응하기 위해.
• 변경되거나 자기학습한 가능성이 있는 AI 시스템이 피해를 초래한 후 그 창작자나 소유주로 거슬러 올라갈 수 있는 방법을 조사하기 위해.
• AI에 악성 설계가 존재할 가능성과 그러한 의도가 어떻게 탐지될 수 있을지 탐색하기 위해.
• 사고 조사와 책임 소재 규명을 지원하는 AI 포렌식의 개념적 프레임워크를 개발하기 위해.
• 운영 중 AI 시스템의 추적 가능성과 고유 식별을 보장하기 위한 입법 조치를 촉구하기 위해.

제안 방법

• 사고를 특정한 AI 시스템, 소유주, 창작자와 연결지을 수 있는 AI 포렌식의 개념적 프레임워크를 제안한다.
• 강화학습과 합성곱 신경망을 활용한 사례 연구를 통해 실제 AI 시스템에서의 포렌식 과제를 시연한다.
• 행동 분석, 의사결정 로그, 모델 업데이트를 분석하여 특정 AI 인스턴스로의 행동 추적을 수행한다.
• 포렌식 조사 지원을 위해 AI 운영 중 상세한 로깅과 메타데이터 수집의 필요성을 강조한다.
• AI 행동을 식별하기 위해서는 머신러닝 및 모델 해석 기법에 대한 깊은 전문 지식이 필요하다는 점을 강조한다.
• AI 시스템에 대한 의무적 데이터 수집과 고유 식별 메커니즘의 입법적 시행을 권고한다.

실험 결과

연구 질문

• RQ1 다양한 AI 벤더와 자기수정 가능한 모델이 공존하는 복잡한 생태계에서, 특정 AI 시스템이 유해하거나 규제 위반 행위를 저질렀음을 신뢰성 있게 특정할 수 있는 방법은 무엇인가?
• RQ2 AI의 행동이 의도적으로 악성 설계된 것이었는지, 아니면 부작위적이거나 뜻하지 않은 것인지 탐지할 수 있는 포렌식 기법은 무엇인가?
• RQ3 소유주에 의해 수정되거나 자기학습을 통해 진화한 AI 시스템을 조사할 때 발생하는 기술적·절차적 과제는 무엇인가?
• RQ4 사고 후 AI 시스템의 추적 가능성과 책임 소재를 향상시키기 위해 입법적 조치와 기술적 조치가 어떻게 상호 보완적으로 작용할 수 있는가?
• RQ5 학습 데이터, 하이퍼파라미터, 추론 로그와 같은 모델 고유의 특징이 책임 있는 AI 시스템을 식별하는 데 어떤 역할을 하는가?

주요 결과

• 현대 AI 아키텍처의 복잡성과 적응 가능성으로 인해 사고 후 책임 있는 AI 시스템을 특정하는 것은 종종 매우 비단순한 과제이다.
• 강화학습과 합성곱 신경망에 대한 사례 연구는 깊이 있는 머신러닝 전문 지식이 필요한 상당한 포렌식 분석 과제를 드러낸다.
• 자기수정 및 소유주의 수정으로 인해 책임 소재의 연결 고리가 흐려져 사고의 원인 규명이 복잡해진다.
• 표준화된 로깅과 고유 식별 메커니즘이 부재함으로써 포렌식 조사가 심각하게 저해된다.
• 의무적 데이터 수집과 고유 AI 식별의 입법적 시행은 추적 가능성과 책임 소재 향상에 필수적이다.
• 현재의 AI 시스템은 내재된 포렌식 준비성이 부족하여 사고 후 분석이 매우 기술적으로 어려우며 시간이 많이 소요된다.