[논문 리뷰] Never trust, always verify : a roadmap for Trustworthy AI?

Lionel Nganyewou Tidjon, Foutse Khomh|arXiv (Cornell University)|2022. 06. 23.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 AI 시스템의 신뢰성 문제를 해결하기 위해 신뢰 및 제로트러스트 모델을 제안하며, AI 라이프사이클 전반에 걸쳐 지속적인 검증, 윤리적 운영(EthicsOps), 그리고 투명성, 공정성, 보안 등 12개의 핵심 성질을 강조한다. 이 프레임워크는 정책 시행 및 자동 검증 도구를 통합하여 지속적인 신뢰를 보장하며, 주요 기여로는 신뢰성 있는 AI를 위한 체계적인 모델과 구현을 위한 실용적 로드맵을 제시한다.

ABSTRACT

Artificial Intelligence (AI) is becoming the corner stone of many systems used in our daily lives such as autonomous vehicles, healthcare systems, and unmanned aircraft systems. Machine Learning is a field of AI that enables systems to learn from data and make decisions on new data based on models to achieve a given goal. The stochastic nature of AI models makes verification and validation tasks challenging. Moreover, there are intrinsic biaises in AI models such as reproductibility bias, selection bias (e.g., races, genders, color), and reporting bias (i.e., results that do not reflect the reality). Increasingly, there is also a particular attention to the ethical, legal, and societal impacts of AI. AI systems are difficult to audit and certify because of their black-box nature. They also appear to be vulnerable to threats; AI systems can misbehave when untrusted data are given, making them insecure and unsafe. Governments, national and international organizations have proposed several principles to overcome these challenges but their applications in practice are limited and there are different interpretations in the principles that can bias implementations. In this paper, we examine trust in the context of AI-based systems to understand what it means for an AI system to be trustworthy and identify actions that need to be undertaken to ensure that AI systems are trustworthy. To achieve this goal, we first review existing approaches proposed for ensuring the trustworthiness of AI systems, in order to identify potential conceptual gaps in understanding what trustworthy AI is. Then, we suggest a trust (resp. zero-trust) model for AI and suggest a set of properties that should be satisfied to ensure the trustworthiness of AI systems.

연구 동기 및 목표

• AI 기반 시스템에서의 신뢰 개념을 분석하고, AI가 신뢰성 있는 데 있어 의미하는 바를 명확히 하기.
• 기존의 신뢰성 있는 AI 접근 방식에서 윤리 원칙의 해석 및 적용 측면에서 발생하는 개념적 격차를 규명하기.
• AI 라이프사이클 전반에 걸쳐 종단 간 신뢰성을 보장하는 종합적인 신뢰(및 제로트러스트) 모델을 제안하기.
• 투명성, 공정성, 지속 가능성 등 투명성, 공정성, 지속 가능성 등의 12개의 이상적 성질을 정의하여 AI 시스템이 신뢰성 있는 것으로 간주되기 위해 충족되어야 할 조건을 명시하기.
• EthicsOps 및 정책 기반 검증 메커니즘을 통합하여 AI의 신뢰성에 대한 지속적인 모니터링 및 검증을 가능하게 하기.

제안 방법

• 신뢰 및 제로트러스트 AI 모델을 개발하며, 인간(신뢰자), AI 시스템(신뢰 대상), TAI 원칙, 정책 시행 포인트(PEP), 정책 결정 포인트(PDP), EthicsOps의 6개 구성 요소를 포함한다.
• EthicsOps를 통합하여 AI 시스템 행동의 지속적 모니터링 및 실시간 검증을 가능하게 하여, 구현 기간 동안도 신뢰가 유지되도록 한다.
• 정책 엔진을 활용하여 TAI 원칙(예: 공정성, 개인정보 보호)을 적용하여 신뢰성 검사 기반으로 데이터 및 예측에 대한 액세스를 동적으로 승인한다.
• 모델 행동 및 적대적 공격에 대한 내성 검증을 위해 VeriDeep, DeepZ, RefineZono, RefinePoly와 같은 형식적 검증 도구를 활용한다.
• 글로벌 기구에서 제공한 100건의 보고서를 수작업 분석하여 유능한 AI 원칙을 추출하고 분류하며, 키워드 추출 및 중복 제어를 통해 정확성을 확보한다.
• 데이터, 모델, 구현 단계를 포함한 AI 파이프라인 전 단계에 검증 레이어를 구축하여 지속적인 신뢰 상태를 유지한다.

실험 결과

연구 질문

• RQ1 기존의 신뢰성 있는 AI 이해 방식에서 윤리 원칙의 해석 및 구현 측면에서 발생하는 개념적 격차는 무엇인가?
• RQ2 제로트러스트 모델이 어떻게 AI 시스템에 적응되어 지속적인 검증을 보장하고 신뢰할 수 없는 AI 결정에 대한 의존도를 줄일 수 있는가?
• RQ3 다양한 응용 분야에서 AI 시스템의 신뢰성 확보에 필수적인 핵심 성질은 무엇인가?
• RQ4 EthicsOps는 어떻게 운영되어야 하며, 특히 운영 환경에서 AI 라이프사이클 전반에 걸쳐 신뢰를 유지할 수 있는가?
• RQ5 정책 시행 및 자동 검증 도구는 동적이고 적대적인 조건에서 AI 시스템의 신뢰 유지에 어떤 역할을 하는가?

주요 결과

• 투명성은 글로벌 기구에서 제공한 100건의 보고서에서 가장 자주 언급된 원칙으로, 신뢰성 있는 AI에서 중심적인 역할을 한다는 것을 시사한다.
• 본 연구는 12개의 이상적 신뢰성 성질을 규명하였다: 투명성, 개인정보 보호, 공정성, 보안, 안전성, 책임성, 감시 가능성, 설명 가능성, 복지 향상, 인권, 포용성, 지속 가능성.
• 제안된 제로트러스트 AI(ZTA) 모델은 정책 기반 액세스 제어 및 EthicsOps를 통한 실시간 모니터링을 통해 지속적인 검증을 가능하게 한다.
• VeriDeep, DeepZ, RefineZono와 같은 검증 도구는 모델 행동 검증 및 적대적 취약성 탐지에 효과적이다.
• 윤리 지침과 정책 엔진을 통합함으로써 변화하는 시스템 상태 및 입력 기반의 동적이고 맥락 인식 가능한 신뢰 결정을 보장한다.
• 100건의 보고서에 대한 수작업 분석을 두 번 반복하여 검증한 결과, 키워드 추출이 일관되게 유지되고 중복이 최소화되어 원칙 분류의 신뢰성이 향상되었다.