[論文レビュー] COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act

Philipp Guldimann, Alexander Spiridonov+10 more|arXiv (Cornell University)|Oct 10, 2024

Law, AI, and Intellectual Property被引用数 4

ひとこと要約

本論文は、大規模言語モデル（LLM）向けに特化したEU AI法の技術的解釈であるCOMPL-AIを紹介する。本研究は、広範な規制的要件を測定可能な技術的基準に翻訳し、12の主要なLLMを評価するオープンソースのベンチマークスイートを提供する。その結果、安全性、公平性、耐性、コンプライアンスの面で広範な欠陥が明らかとなり、規制に整合するベンチマークと、能力を超えたモデル開発の緊急の必要性が浮き彫りになった。

ABSTRACT

The EU's Artificial Intelligence Act (AI Act) is a significant step towards responsible AI development, but lacks clear technical interpretation, making it difficult to assess models' compliance. This work presents COMPL-AI, a comprehensive framework consisting of (i) the first technical interpretation of the EU AI Act, translating its broad regulatory requirements into measurable technical requirements, with the focus on large language models (LLMs), and (ii) an open-source Act-centered benchmarking suite, based on thorough surveying and implementation of state-of-the-art LLM benchmarks. By evaluating 12 prominent LLMs in the context of COMPL-AI, we reveal shortcomings in existing models and benchmarks, particularly in areas like robustness, safety, diversity, and fairness. This work highlights the need for a shift in focus towards these aspects, encouraging balanced development of LLMs and more comprehensive regulation-aligned benchmarks. Simultaneously, COMPL-AI for the first time demonstrates the possibilities and difficulties of bringing the Act's obligations to a more concrete, technical level. As such, our work can serve as a useful first step towards having actionable recommendations for model providers, and contributes to ongoing efforts of the EU to enable application of the Act, such as the drafting of the GPAI Code of Practice.

研究の動機と目的

• EU AI法の広範な規制的言語とLLMの実行可能な技術的要件との間のギャップを埋めること。
• 法的要件に整合した包括的かつオープンソースのベンチマークスイートを構築し、最先端の評価ベンチマークを活用すること。
• 12の代表的LLM（例：GPT-3.5、Claude、Llama 2、PaLM）がEU AI法の安全性、公平性、耐性基準をどの程度満たしているかを評価すること。
• 現在のLLMおよび既存のベンチマークに見られる、効果的な規制に整合した評価を阻害する主な欠陥を特定すること。
• 将来的な規制の具体化作業（例：GPAIコード・オブ・コンダクト）の基盤となるリファレンスを提供すること。

提案手法

• EU AI法の詳細な技術的解釈を実施し、その6つの倫理的原則をLLMに向けた具体的で測定可能な技術的要件にマッピングする。
• 122の最先端のLLMベンチマークを調査・統合し、規制要件に整合した一元化された、Act中心のベンチマークスイートを構築する。
• 各技術的要件を特定のベンチマークにマッピングすることで、安全性、公平性、耐性などの次元におけるモデル性能の体系的評価を可能にする。
• COMPL-AIベンチマークスイートを用いて、12の代表的LLM（例：GPT-3.5、Claude、Llama 2、PaLM）を評価し、EU AI法基準へのコンプライアンスを検証する。
• 各技術的要件が法的文書のどの条項に基づくものかを追跡し、マッピングプロセスの監査可能性と透明性を確保する。
• 現在のベンチマークおよびモデル能力におけるギャップを特定し、特に説明可能性や是正可能性といった未開拓分野に注目する。

Figure 1 : Overview of COMPL-AI . First, we provide a technical interpretation of the EU AI Act for LLMs, extracting clear technical requirements. Second, we connect these technical requirements to state-of-the-art benchmarks, and collect them in a benchmarking suite. Finally, we use our benchmarkin

実験結果

リサーチクエスチョン

• RQ1 EU AI法の広範な規制的要件を、LLMに向けた具体的で測定可能な技術的要件にどのように翻訳できるか？
• RQ2 現在のLLMは、EU AI法から導出された技術的要件をどの程度満たしているか？
• RQ3 既存のベンチマークが不十分にカバーしているLLMの安全性、公平性、耐性、プライバシーの側面は何か？
• RQ4 規制に整合した効果的な評価を阻害する、現在のベンチマークおよびモデル能力における主なギャップは何か？
• RQ5 EU AI法は、より包括的で規制に整合したベンチマークおよびモデル開発手法の開発をどのように促進できるか？

主な発見

• 評価対象の12のLLMすべてが、EU AI法から導出された技術的要件を完全に満たしていない。
• 特にバイアス低減やデータ漏洩防止の分野において、モデルの耐性、安全性、公平性、プライバシーの面で顕著な欠陥が確認された。
• 既存のベンチマークは、説明可能性、是正可能性、システミックリスク低減といった重要な規制的次元をしばしばカバーしていない。
• ベンチマークスイートの結果から、推論力やコーディング能力に優れたモデルであっても、コンプライアンスに重要な次元では良好なパフォーマンスを示さないことが判明した。
• プライバシーや解釈可能性に関連する重要な技術的要件は、適切な評価ツールを欠いており、現在の評価インfraの重大なギャップを示している。
• 本研究は、現在のモデル開発が能力の向上に偏り、コンプライアンスを軽視していることを示しており、バランスの取れた規制に整合した開発へのシフトが不可欠であることを示している。

Figure 2 : Overview of the structure of the COMPL-AI benchmarking suite. Starting from the six ethical principles of the EU AI Act (left), we extract corresponding technical requirements (middle), and connect those to state-of-the-art LLM benchmarks (right).