[논문 리뷰] Quantitative AI Risk Assessments: Opportunities and Challenges

David Piorkowski, Michael Hind외 1명|arXiv (Cornell University)|2022. 09. 13.

Occupational Health and Safety Research인용 수 7

한 줄 요약

이 논문은 훈련 데이터나 개발 역사를 접근할 수 없을 때도, 관찰 가능한 입력과 출력을 사용하여 공정성, 강건성, 정확성 등의 차원에서 사전에 존재하는 AI 모델의 위험을 평가할 수 있는 정량적 AI 위험 평가 프레임워크를 제안한다. 주요 기여는 규제 준수 및 거버넌스를 위해 객관적이고 비교 가능하며 실행 가능한 위험 평가를 가능하게 하는 표준화되고 지표 기반의 접근 방식이다.

ABSTRACT

Although AI systems are increasingly being leveraged to provide value to organizations, individuals, and society, significant attendant risks have been identified and have manifested. These risks have led to proposed regulations, litigation, and general societal concerns. As with any promising technology, organizations want to benefit from the positive capabilities of AI technology while reducing the risks. The best way to reduce risks is to implement comprehensive AI lifecycle governance where policies and procedures are described and enforced during the design, development, deployment, and monitoring of an AI system. Although support for comprehensive governance is beginning to emerge, organizations often need to identify the risks of deploying an already-built model without knowledge of how it was constructed or access to its original developers. Such an assessment will quantitatively assess the risks of an existing model in a manner analogous to how a home inspector might assess the risks of an already-built home or a physician might assess overall patient health based on a battery of tests. Several AI risks can be quantified using metrics from the technical community. However, there are numerous issues in deciding how these metrics can be leveraged to create a quantitative AI risk assessment. This paper explores these issues, focusing on the opportunities, challenges, and potential impacts of such an approach, and discussing how it might influence AI regulations.

연구 동기 및 목표

• 원래 개발 세부 정보가 확보되지 않은 상황에서도 객관적이고 측정 가능한 AI 시스템 위험 평가의 증가하는 필요성을 해결하기 위해.
• 주택이나 자동차 점검과 유사하게, 원천 개발 정보 없이도 관찰 가능한 행동에 기반해 AI 모델 위험을 실용적이고 표준화된 방법으로 평가하는 것을 목적으로 한다.
• 정량적 메트릭을 제공하여 정성적 위험 평가를 보완함으로써 규제 준수 및 조직 거버넌스를 지원하기 위해.
• 다양한 모델 간 비교를 위한 표준화와 특정 사용 사례에 맞는 맞춤화 사이의 갈등을 식별하고 해결하기 위해.
• 금융 및 헬스케어와 같은 분야의 기존 위험 관리 프로세스에 정량적 메트릭을 통합함으로써 AI 위험 평가의 광범위한 도입을 가능하게 하기 위해.

제안 방법

• 공정성, 적대적 공격에 대한 강건성, 정확도, 데이터 효율성, 모델 효율성의 다섯 가지 핵심 위험 차원을 정의한다.
• 적대적 테스트, 공정성 메트릭(예: 인구통계적 평등성), 정확도 기준점과 같은 기존 평가 기법을 활용해 각 위험 차원에 대한 측정 가능한 메트릭을 개발한다.
• 개별 메트릭을 통합하여 통합된 위험 점수로 만드는 복합 점수 시스템을 제안함으로써 다양한 모델 간 비교를 가능하게 한다.
• 모델의 추론 수준 접근만 요구하도록 평가를 설계함으로써 데이터 및 모델 접근 요구를 최소화한다.
• 모듈러하고 확장 가능한 기술 구성 요소를 통해 기존 AI 거버넌스 프로세스와 프레임워크를 통합한다.
• 모델 소유자 또는 감사자가 평가 도구를 사용할 수 있도록 함으로써 액세스 제어, 데이터 프라이버시, 모델 소유권과 관련된 과제를 해결한다.

실험 결과

연구 질문

• RQ1 훈련 데이터, 초모수, 개발 역사를 모두 접근할 수 없는 모델에 대해 AI 위험을 어떻게 정량적으로 평가할 수 있는가?
• RQ2 다양한 AI 시스템 간 일관성 있고 비교 가능하며 의미 있는 위험 점수를 도출하기 위해 어떤 메트릭과 집계 전략이 필요한가?
• RQ3 특정 배포 환경과 위험 프로파일에 따라 맞춤화가 필요한 상황에서 메트릭의 표준화는 어떻게 공존할 수 있는가?
• RQ4 특히 액세스, 프라이버시, 도구 사용과 관련하여 실제 환경에서 이러한 평가를 구현할 때의 실질적 과제는 무엇인가?
• RQ5 정량적 위험 평가는 기존의 규제 및 조직 거버넌스 프레임워크에 어떻게 의미 있게 통합될 수 있는가?

주요 결과

• 공정성, 강건성, 정확도, 데이터 효율성, 모델 효율성에 대한 정량적 메트릭은 이미 존재하며, 훈련 데이터에 접근하지 않더라도 기존 모델에 적용할 수 있다.
• 표준화된 메트릭에 기반한 복합 위험 점수는 다양한 AI 시스템 간에 객관적이고 반복 가능하며 비교 가능한 위험 평가를 가능하게 한다.
• 평가 프레임워크는 추론 수준의 액세스만으로 적용 가능하므로, 제3자 감사자 또는 내부 팀이 프로덕션 환경의 모델을 평가하는 데 실현 가능하다.
• 특히 공정성 및 적대적 공격에 대한 강건성와 같은 차원에서, 다양한 모델 간 비교를 위한 표준화와 도메인 특화 위험 프로파일을 위한 맞춤화 사이의 갈등이 존재한다.
• 모듈러한 설계를 통해 기존 거버넌스 프로세스와의 통합은 가능하며, 기존 시스템을 대체하지 않고도 점진적인 도입이 가능하다.
• 최근 등장한 AI 인증 기관들은 정량적 위험 평가가 AI 준수 및 신뢰 프레임워크의 일부로 공식화되고 있다는 산업의 성장 추세를 시사한다.