[논문 리뷰] COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act

Philipp Guldimann, Alexander Spiridonov외 10명|arXiv (Cornell University)|2024. 10. 10.

Law, AI, and Intellectual Property인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)를 대상으로 한 유럽연합(AI Act)의 기술적 해석인 COMPL-AI를 소개한다. 이는 광범위한 규제 요구사항을 측정 가능한 기술적 기준으로 번역한다. 또한 12개의 주요 LLM을 평가하는 오픈소스 벤치마크 세트를 제시하며, 안전성, 공정성, 내구성 및 준수성 측면에서 광범위한 부족함을 드러내며, 규제 기반의 벤치마크 및 능력 외의 요소를 고려한 모델 개발의 긴급한 필요성을 강조한다.

ABSTRACT

The EU's Artificial Intelligence Act (AI Act) is a significant step towards responsible AI development, but lacks clear technical interpretation, making it difficult to assess models' compliance. This work presents COMPL-AI, a comprehensive framework consisting of (i) the first technical interpretation of the EU AI Act, translating its broad regulatory requirements into measurable technical requirements, with the focus on large language models (LLMs), and (ii) an open-source Act-centered benchmarking suite, based on thorough surveying and implementation of state-of-the-art LLM benchmarks. By evaluating 12 prominent LLMs in the context of COMPL-AI, we reveal shortcomings in existing models and benchmarks, particularly in areas like robustness, safety, diversity, and fairness. This work highlights the need for a shift in focus towards these aspects, encouraging balanced development of LLMs and more comprehensive regulation-aligned benchmarks. Simultaneously, COMPL-AI for the first time demonstrates the possibilities and difficulties of bringing the Act's obligations to a more concrete, technical level. As such, our work can serve as a useful first step towards having actionable recommendations for model providers, and contributes to ongoing efforts of the EU to enable application of the Act, such as the drafting of the GPAI Code of Practice.

연구 동기 및 목표

• 유럽연합(AI Act)의 광범위한 규제 언어와 LLMs에 대한 실행 가능한 기술적 요구사항 간 격차를 메우기 위해.
• 법률의 기술적 요구사항과 일치하는 종합적이고 오픈소스의 벤치마크 세트를 개발하여 최신 평가 기준을 활용하기 위해.
• 12개의 주요 LLMs가 유럽연합(AI Act)의 안전성, 공정성 및 내구성 기준을 얼마나 준수하고 있는지 평가하기 위해.
• 효과적인 규제 기반 평가를 저해하는 현재의 LLMs와 기존 벤치마크의 핵심 부족 사항을 특정하기 위해.
• 향후 규제의 구체화 노력, 예를 들어 GPAI 행동규범의 기초 자료로 기능하기 위해.

제안 방법

• 유럽연합(AI Act)의 세부적인 기술적 해석을 수행하여, 그의 여섯 가지 윤리 원칙을 LLMs에 대한 구체적이고 측정 가능한 기술적 요구사항으로 매핑하기 위해.
• 122개의 최신 기술 기반 LLM 벤치마크를 조사하고 통합하여, 규제 요구사항과 일치하는 통합된, 법 중심의 벤치마크 세트를 구축하기 위해.
• 각 기술적 요구사항을 특정 벤치마크에 매핑하여, 안전성, 공정성 및 내구성 등의 차원에서 모델 성능을 체계적으로 평가할 수 있도록 하기 위해.
• GPT-3.5, Claude, Llama 2, PaLM 등 12개의 주요 LLMs를 벤치마크 세트를 사용하여 평가하여, 유럽연합(AI Act) 표준 준수 여부를 점검하기 위해.
• 각 기술적 요구사항이 법의 어느 조항에 근거하는지 추적하여, 매핑 과정의 감사 가능성과 투명성을 확보하기 위해.
• 현재의 벤치마크와 모델 능력의 격차를 특정하며, 특히 설명 가능성과 수정 가능성과 같은 미충족 영역을 중심으로 분석하기 위해.

Figure 1 : Overview of COMPL-AI . First, we provide a technical interpretation of the EU AI Act for LLMs, extracting clear technical requirements. Second, we connect these technical requirements to state-of-the-art benchmarks, and collect them in a benchmarking suite. Finally, we use our benchmarkin

실험 결과

연구 질문

• RQ1 유럽연합(AI Act)의 광범위한 규제 요구사항은 어떻게 LLMs에 대한 구체적이고 측정 가능한 기술적 요구사항으로 번역될 수 있는가?
• RQ2 현재의 LLMs가 유럽연합(AI Act)에서 유도된 기술적 요구사항을 얼마나 준수하고 있는가?
• RQ3 기존의 벤치마크가 LLM의 안전성, 공정성, 내구성 및 개인정보 보호 측면에서 부족하게 다루는 요소는 무엇인가?
• RQ4 효과적인 준수 평가를 저해하는 현재의 벤치마크와 모델 능력의 핵심 격차는 무엇인가?
• RQ5 유럽연합(AI Act)은 어떻게 더 포괄적이고 규제 기반의 벤치마크 및 모델 개발 관행을 이끌 수 있는가?

주요 결과

• 평가된 12개의 LLM 중 어느 모델도 유럽연합(AI Act)에서 유도된 기술적 요구사항을 완전히 준수하지 못하고 있다.
• 특히 편향 완화 및 데이터 泄露와 같은 분야에서 모델의 내구성, 안전성, 공정성 및 개인정보 보호 측면에서 심각한 부족함이 발견되었다.
• 기존의 벤치마크는 설명 가능성, 수정 가능성, 체계적 리스크 완화와 같은 핵심 규제 차원을 자주 다루지 못하고 있다.
• 벤치마크 세트를 통해 능력 중심의 벤치마크에서 높은 성능을 보이는 모델가 준수 핵심 차원에서 성능이 떨어지는 것으로 드러났다.
• 개인정보 보호 및 이해 가능성과 같은 핵심 기술적 요구사항은 적절한 평가 도구가 부족하여 현재 평가 인프라에 중대한 격차가 있음을 시사한다.
• 본 연구는 현재의 모델 개발이 능력 중심에 치우쳐 있음을 입증하며, 균형 잡힌 규제 기반 개발 방향 전환의 필요성을 제기한다.

Figure 2 : Overview of the structure of the COMPL-AI benchmarking suite. Starting from the six ethical principles of the EU AI Act (left), we extract corresponding technical requirements (middle), and connect those to state-of-the-art LLM benchmarks (right).