[논문 리뷰] Model Reporting for Certifiable AI: A Proposal from Merging EU Regulation into AI Development

Danilo Brajovic, Niclas Renner외 8명|arXiv (Cornell University)|2023. 07. 21.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 EU AI Act에 부합하는 인증 가능하고 감사 가능한 신뢰할 수 있는 AI 개발을 지원하기 위해 데이터 카드 및 모델 카드에 사용 사례 카드와 운영 카드를 추가한 표준화된 모델 보고 프레임워크를 제안한다. 규제 요구사항, 연구 분야의 최선의 실천 방식, 개발자 및 감사 전문가들로부터의 실무적 피드백을 통합함으로써, 수명 주기 전반에 걸쳐 투명하고 추적 가능하며 규정 준수 가능한 AI 개발을 가능하게 하며, 향후 시스템 인증을 위한 기반을 마련한다.

ABSTRACT

Despite large progress in Explainable and Safe AI, practitioners suffer from a lack of regulation and standards for AI safety. In this work we merge recent regulation efforts by the European Union and first proposals for AI guidelines with recent trends in research: data and model cards. We propose the use of standardized cards to document AI applications throughout the development process. Our main contribution is the introduction of use-case and operation cards, along with updates for data and model cards to cope with regulatory requirements. We reference both recent research as well as the source of the regulation in our cards and provide references to additional support material and toolboxes whenever possible. The goal is to design cards that help practitioners develop safe AI systems throughout the development process, while enabling efficient third-party auditing of AI applications, being easy to understand, and building trust in the system. Our work incorporates insights from interviews with certification experts as well as developers and individuals working with the developed AI applications.

연구 동기 및 목표

• 실제 현장에서 AI 시스템에 대한 표준화되고 규제 준수 문서화의 부족을 해결하기 위해.
• 전체 수명 주기 동안 안전하고 신뢰할 수 있으며 감사 가능한 AI 시스템 개발을 지원하기 위해.
• 신규로 등장하는 EU AI 규제와 실무적 AI 개발 워크플로우 사이의 격차를 메우기 위해.
• 향후 제3자 인증을 위한 기반을 제공하기 위해.

제안 방법

• 기존의 데이터 카드 및 모델 카드 프레임워크에 사용 사례 카드 및 운영 카드라는 두 가지 새로운 카드 유형을 추가한다.
• EU AI Act 및 관련 표준(예: ISO, CEN, CENELEC)의 규제 요구사항을 특정 문서 필드에 매핑한다.
• 추적 가능성과 투명성을 위해 원천 규제, 지침, 도구 상자 및 지원 자료에 대한 참조를 통합한다.
• 개발자, 인증 전문가 및 최종 사용자와의 인터뷰를 통해 피드백을 수렴하여 실무적 사용성을 확보한다.
• 데이터, 모델, 테스트/배포, 운영의 네 가지 핵심 개발 단계를 중심으로 문서화를 체계화한다.
• 버전 관리, 액세스 제어, 프라이버시, MLOps 실천 방식, 성능 모니터링을 강조하여 규정 준수성과 감사 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 향후 EU AI Act에 부합하는 AI 개발 관행은 어떻게 정의되어야 하며, 규정 준수성과 감사 가능성을 확보할 수 있는가?
• RQ2 제3자 감사와 규제 준수를 지원하기 위해 데이터 카드 및 모델 카드 외에 추가로 필요한 문서 구성 요소는 무엇인가?
• RQ3 규제 요구사항은 개발자가 실천 가능한 문서 필드로 체계적으로 어떻게 매핑될 수 있는가?
• RQ4 스테이크홀더 피드백과 실제 구현 경험은 실현 가능한 인증 준비 완료 AI 보고 프레임워크를 설계하는 데 어떤 역할을 하는가?
• RQ5 표준화된 보고 체계는 개발 및 운영 단계 전반에서 AI 시스템의 투명성, 신뢰성, 추적 가능성 향상에 어떻게 기여하는가?

주요 결과

• 제안된 프레임워크는 수명 주기 전반에 걸쳐 AI 응용 프로그램의 포괄적 문서화를 가능하게 하기 위해 데이터 카드 및 모델 카드에 사용 사례 카드 및 운영 카드를 필수적인 추가 요소로 도입한다.
• 프레임워크는 EU AI Act 및 관련 표준의 규제 요구사항을 특정 문서 필드에 매핑함으로써 규정 준수성과 감사 가능성을 보장한다.
• 원천 규제, 지침, 도구 상자 등에 대한 참조를 포함함으로써, 각 문서화된 요구사항의 추적 가능성과 투명성이 향상된다.
• 개발자, 인증 전문가 및 최종 사용자로부터의 피드백이 성공적으로 통합되어 프레임워크의 실무적 관련성과 사용성 향상이 이루어졌다.
• 버전 관리된 코드 저장소, 정기적 재학습, 성능 모니터링과 같은 MLOps 실천 방식을 지원함으로써 지속적인 규정 준수성과 시스템 신뢰성 확보가 가능하다.
• 이 접근법은 향후 AI 시스템 인증을 위한 체계적이고 확장 가능한 기반을 제공하며, 개발자가 향후 법적 의무를 이행할 수 있도록 한다.