[논문 리뷰] Three lines of defense against risks from AI

Jonas Schuett|arXiv (Cornell University)|2022. 12. 16.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 금융 및 산업 분야에서 널리 사용되는 위험 관리 프레임워크인 세 가지 방어선(3LoD)을 인공지능(AI) 개발 및 구현에 적응 적용하는 것을 제안한다. 사업 부서, 위험 및 준법 팀, 내부 감사 팀에 각각 다른 역할을 부여함으로써 조직의 책임 소재 명확화, 위험 커버리지 격차 해소, 이사회 감독 강화를 통해 기술적, 법적, 윤리적 차원에서 AI 위험 관리의 효과성을 높인다.

ABSTRACT

Organizations that develop and deploy artificial intelligence (AI) systems need to manage the associated risks - for economic, legal, and ethical reasons. However, it is not always clear who is responsible for AI risk management. The Three Lines of Defense (3LoD) model, which is considered best practice in many industries, might offer a solution. It is a risk management framework that helps organizations to assign and coordinate risk management roles and responsibilities. In this article, I suggest ways in which AI companies could implement the model. I also discuss how the model could help reduce risks from AI: it could identify and close gaps in risk coverage, increase the effectiveness of risk management practices, and enable the board of directors to oversee management more effectively. The article is intended to inform decision-makers at leading AI companies, regulators, and standard-setting bodies.

연구 동기 및 목표

• AI 시스템을 개발하고 구현하는 조직에서 위험 관리의 책임 소재가 명확하지 않은 문제를 해결하기 위해.
• 금융 및 기타 규제 산업에서 사용되는 기존의 세 가지 방어선(3LoD) 프레임워크를 AI의 고유한 맥락에 맞게 적응하기 위해.
• AI 위험 관리에서 역할과 책임을 체계적으로 배분하여 조직의 효과성을 높일 수 있는 구조적 접근을 제공하기 위해.
• 이사회가 보다 효과적으로 AI 위험 관리를 감독할 수 있도록 보조하기 위해 보고 경로와 책임 소재를 명확히 하기 위해.
• 결정자, 규제 기관, 표준 설정 기관이 AI에서의 위험 거버넌스 실무를 이해하고 활용할 수 있도록 정보를 제공하기 위해.

제안 방법

• 세 가지 방어선 모델을 적응 적용함: 사업 부서(제1선), 위험 및 준법 기능(제2선), 내부 감사(제3선).
• 각 방어선의 책임을 기술적, 법적, 윤리적, 체계적 위험과 같은 AI 전용 위험에 맞게 매핑함.
• 제1선(사업 부서)이 AI 개발 및 구현 과정에서 위험을 소유하고 관리하도록 제안함.
• 제2선(위험 및 준법)이 AI 위험을 위한 정책, 통제 장치 및 모니터링 메커니즘을 수립하도록 할당함.
• 제3선(내부 감사)이 위험 통제 및 거버넌스 프로세스의 효과성을 독립적으로 평가하도록 할당함.
• 세 방어선 간의 협업과 피드백 루프를 강조하여 종합적이고 유연한 위험 커버리지를 확보함.

실험 결과

연구 질문

• RQ1 세 가지 방어선 모델을 어떻게 효과적으로 AI 시스템의 위험을 관리하는 데 적용할 수 있는가?
• RQ2 AI 위험 거버넌스에서 각 방어선에 할당할 구체적인 역할과 책임은 무엇인가?
• RQ3 3LoD 프레임워크는 책임 소재 명확화와 AI 위험 커버리지 격차 감소에 어떻게 기여할 수 있는가?
• RQ4 3LoD 모델은 이사회가 AI 위험 관리 감독을 어떻게 강화할 수 있는가?
• RQ5 규제 기관과 표준 설정 기관은 3LoD 모델을 어떻게 활용하여 AI 거버넌스 프레임워크를 이끌 수 있는가?

주요 결과

• 3LoD 프레임워크는 AI 조직에서 위험 관리 책임을 할당하고 조율하는 데 명확하고 확장 가능한 구조를 제공한다.
• 3LoD 모델을 구현하면 조직 전반에서 기술적, 법적, 윤리적 위험을 체계적으로 대응함으로써 위험 커버리지 격차를 해소할 수 있다.
• 운영, 통제, 감사 기능 간의 명확한 책임 소재와 피드백 루프를 설정함으로써 위험 관리의 효과성이 향상된다.
• 이사회가 AI 위험 관리 성과를 보다 명확히 보고하고 검증할 수 있도록 하여 AI 위험 감독이 강화된다.
• 이 프레임워크는 규제 일치를 지원하며, AI 기업, 규제 기관, 표준 설정 기관이 책임감 있는 AI 개발을 촉진하기 위해 유연하게 적용할 수 있다.
• 논문은 3LoD 모델이 AI 위험 거버넌스에 대해 이행 가능하고 실용적인 것으로 입증되었으며, 다른 규제 산업에서 입증된 거버넌스 메커니즘을 제공한다.