[논문 리뷰] Founding The Domain of AI Forensics

Ibrahim Baggili, Vahid Behzadan|arXiv (Cornell University)|2019. 12. 11.

Digital and Cyber Forensics참고 문헌 29인용 수 5

한 줄 요약

이 논문은 AI 안전 분야 내에서 AI 포렌식을 새로운 학문으로 정립하며, 구조화된 증거 수집 및 분석을 통한 AI 시스템 실패 원인 규명을 위한 공식적 프레임워크를 제안한다. 모델 성능, 악성코드, 탄도 포렌식 등 다양한 하위 분야의 분류 체계를 도입하고, AI의 설명 불가능성과 반포렌식 기법과 같은 핵심 과제를 규명한다.

ABSTRACT

With the widespread integration of AI in everyday and critical technologies, it seems inevitable to witness increasing instances of failure in AI systems. In such cases, there arises a need for technical investigations that produce legally acceptable and scientifically indisputable findings and conclusions on the causes of such failures. Inspired by the domain of cyber forensics, this paper introduces the need for the establishment of AI Forensics as a new discipline under AI safety. Furthermore, we propose a taxonomy of the subfields under this discipline, and present a discussion on the foundational challenges that lay ahead of this new research area.

연구 동기 및 목표

• 비판적이고 일상적인 기술에 배포된 AI 시스템의 실패에 대해 과학적으로 엄밀하고 법적으로 인정 가능한 조사의 증가하는 필요성을 해결하기 위해.
• 디지털 포렌식을 모델로 삼아, AI 안전 분야의 독립된 하위 분야로 AI 포렌식을 공식화하여 AI 실패의 신뢰할 수 있는 근본 원인 분석을 보장하기 위해.
• 모델 성능, 악성코드, 신원 확인 및 추출, 탄도 포렌식 등 다양한 하위 분야의 분류 체계를 제안하여 조사 접근 방식을 체계화하기 위해.
• AI의 설명 불가능성, 반포렌식 기법, 그리고 AI 포렌식과 사이버 포렌식 분야 간의 격리 등 핵심 과제를 규명하기 위해.
• 과학적 증거 기준인 다버트 기준(Daubert standard)을 준수하는 프레임워크를 구축하여 법적 절차에서의 입증 가능성을 확보하기 위해.

제안 방법

• AI 시스템의 실패와 관련된 디지털 증거의 과학적이고 법적 추출, 수집, 분석 및 보고를 정의하는 공식적인 정의를 제안한다.
• 디지털 포렌식에서 유래한 AAA(수집, 신원 확인, 분석) 모델을 AI 포렌식 조사의 핵심 운영 프레임워크로 적용한다.
• AI 포렌식 하위 분야의 분류 체계를 도입: 모델 성능 포렌식(예: 활성화 분석), 모델 악성코드 포렌식(예: 백도어 탐지), 모델 신원 확인/추출 포렌식, 모델 탄도 포렌식(예: 모델 지문화).
• 과학적 타당성과 법적 입증 가능성을 확보하기 위해 다버트 기준(시험, 오류율, 게재, 일반 수용)을 적용한다.
• 악성 또는 의심스러운 모델 행동을 재현하고 분석하기 위해 제어된 시뮬레이션 환경(예: 샌드박스)을 권장한다.
• 복잡성에도 불구하고 포렌식 분석이 가능하도록, 비정상적 행동을 가진 AI 시스템을 다룰 수 있는 추상화 기법(예: 정서적 병리학적 추상화)을 제안한다.

실험 결과

연구 질문

• RQ1 어떻게 AI 시스템 실패를 과학적으로 엄밀하고 법적으로 정당화할 수 있는 공식적이고 체계적인 프레임워크를 구축할 수 있는가?
• RQ2 AI 실패 포렌식 조사에 관련된 핵심 하위 분야와 증거 유형은 무엇인가?
• RQ3 AI 시스템에 대한 포렌식 방법이 다버트 절차와 같은 기준을 따르며 법원에서 입증 가능한가?
• RQ4 AI의 설명 불가능성과 반포렌식 기법 등 기술적 및 제도적 과제들은 AI 포렌식 발전을 저해하는 주요 요인인가?
• RQ5 AI 및 사이버 포렌식 분야 간의 현재 격리를 메우기 위해 어떻게 협력할 수 있는가?

주요 결과

• AI 포렌식은 사이버 포렌식을 모델로 삼아 AI 안전 분야 내에서 새로운 공식적 학문으로 제안되며, AI 실패에 대한 과학적으로 타당하고 법적으로 정당화된 조사를 가능하게 한다.
• 모델 성능, 악성코드, 신원 확인/추출, 탄도 포렌식의 네 가지 핵심 하위 분야의 분류 체계가 도입되어 AI 시스템의 포렌식 조사를 체계화한다.
• 디지털 포렌식에서 유래한 AAA(수집, 신원 확인, 분석) 프레임워크가 AI 포렌식의 기초 운영 모델로 적응된다.
• 과학적 타당성과 법적 입증 가능성을 확보하기 위해 다버트 기준(시험, 오류율, 게재, 수용)이 AI 포렌식 방법에 적용된다.
• 주요 과제로는 복잡한 AI 시스템의 설명 불가능성, 반포렌식 기법의 잠재적 확산, 그리고 AI 안전 및 사이버 포렌식 분야 간의 현재 격리가 있다.
• 논문은 중요한 연구 격차를 규명한다: AI 안전성과 설명 가능성에 대한 관심이 증가하고 있음에도 불구하고, AI 실패에 대한 포렌식 조사를 위한 공식적 영역는 존재하지 않으며, 이는 기초 연구 및 다학제적 협력의 필요성을 암시한다.