[논문 리뷰] A Brief Overview of AI Governance for Responsible Machine Learning Systems

Navdeep Gill, Abhishek Mathur외 1명|arXiv (Cornell University)|2022. 11. 21.

Big Data and Business Intelligence인용 수 6

한 줄 요약

이 논문은 기업 내 기계학습 시스템의 책임감 있고 신뢰할 수 있으며 윤리적인 구현을 보장하기 위해 구조화된 프레임워크로 AI 거버넌스를 제안한다. 공정성, 투명성, 모델 모니터링, 인간의 감시와 같은 원칙을 통합함으로써, 편향, 개념 드프트, 모델 열화와 같은 위험을 완화하고, 일관성 있고 감사 가능하며 영향력 있는 AI 도입을 가능하게 하며 신뢰도와 준수 수준을 향상시킨다.

ABSTRACT

Organizations of all sizes, across all industries and domains are leveraging artificial intelligence (AI) technologies to solve some of their biggest challenges around operations, customer experience, and much more. However, due to the probabilistic nature of AI, the risks associated with it are far greater than traditional technologies. Research has shown that these risks can range anywhere from regulatory, compliance, reputational, and user trust, to financial and even societal risks. Depending on the nature and size of the organization, AI technologies can pose a significant risk, if not used in a responsible way. This position paper seeks to present a brief introduction to AI governance, which is a framework designed to oversee the responsible use of AI with the goal of preventing and mitigating risks. Having such a framework will not only manage risks but also gain maximum value out of AI projects and develop consistency for organization-wide adoption of AI.

연구 동기 및 목표

• 기업 내 규제되지 않은 AI 도입과 관련된 증가하는 리스크, 즉 편향, 드프트, 책임 소재 부재를 해결하기 위해.
• 실패한 주택 가격 예측 시스템의 실제 사례 연구를 통해 부적절한 거버넌스의 결과를 부각하기 위해.
• AI 개발을 윤리적, 법적, 사업적 목표와 일치시키는 종합적인 AI 거버넌스 프레임워크를 수립하기 위해.
• 표준화된 프로세스와 도구를 통해 조직의 일관성, 투명성, 신뢰를 증진시켜 AI 시스템에 대한 신뢰를 높이기 위해.
• 모델 검증, 모니터링, 사고 대응 계획 수립을 통해 사전 리스크 관리를 촉진하기 위해.

제안 방법

• 보안, 공정성, 해석 가능성, 투명성, 강건성 원칙을 기계학습 라이프사이클 전반에 통합한 통합적 프레임워크로서 AI 거버넌스를 제안한다.
• 제3자 평가를 통한 객관성과 신뢰성 확보를 위해 모델 검증을 위한 구조화된 프로세스를 도입한다.
• 자동 경고 시스템을 활용해 개념 드프트와 성능 열화를 지속적으로 모니터링하는 것을 강조한다.
• 자동 예측에 대한 과도한 의존을 줄이기 위해 고위험 의사결정 과정에 인간의 개입 메커니즘을 도입할 것을 주장한다.
• 팀 간의 일치를 확보하고 추적 가능성을 보장하기 위해 표준화된 도구와 커뮤니케이션 프로토콜을 권장한다.
• 사고 대응 절차를 정의한다. 모델 장애 발생 시 식별, 문서화, 인간 검토, 트래픽 재지정을 포함한다.

Figure 1: (Left) “Rate of AI adoption skyrocketed during COVID-19” by KPMG [ 26 ] . (Right) IBM Global AI Adoption Index 2022 [ 25 ] . We refer the reader to the surveys [ 26 , 25 ] for more details.

실험 결과

연구 질문

• RQ1 조직은 기술적 성능 지표를 넘어서 AI 구현의 리스크를 체계적으로 관리할 수 있는 방법은 무엇인가?
• RQ2 사례 연구에서 주택 가격이 과도하게 평가된 데 기여한 핵심 거버넌스 실패 요인은 무엇이며, 어떻게 방지할 수 있었는가?
• RQ3 AI 거버넌스는 조직의 일관성, 투명성, 신뢰도 향상에 어느 정도 기여하는가?
• RQ4 모델 모니터링 및 검증 프로세스는 어떻게 정착화되어야 하며, 이를 통해 생산 환경에서의 드프트와 편향을 방지할 수 있는가?
• RQ5 고위험 AI 응용 분야에서 리스크 완화에 인간의 감시가 수행하는 역할은 무엇인가?

주요 결과

• 사례 연구는 인간의 개입을 통한 검증이 제거되면서 모델 예측이 통제되지 않아 주택 가격이 과도하게 평가된 결과를 보여준다.
• 개념 드프트에 대한 모델 모니터링 부족으로 시장 조건 변화에 따라 지속적인 과도 평가가 발생했으며, 실시간 탐지 필요성이 부각된다.
• 독립된 제3자 검토가 없는 부족한 모델 검증으로 인해 중요한 가정을 식별하지 못한 채 결함이 있는 모델가 배포되었다.
• 사고 대응 계획이 없어 모델 열화가 지속적으로 감지되지 않아 재정적 손실과 명성 손상이 증가했다.
• 모니터링, 검증, 인간의 감시를 포함한 AI 거버넌스를 도입하면 실패의 영향을 방지하거나 상당히 줄일 수 있었다.
• AI 거버넌스를 채택한 조직은 더 나은 일치, 책임 소재, 신뢰를 확보해 더 안전하고 확장 가능한 AI 도입을 가능하게 한다.

Figure 2: Illustration of the AI Governance application towards responsible AI in companies.