[論文レビュー] A Collaborative, Human-Centred Taxonomy of AI, Algorithmic, and Automation Harms

Gavin Abercrombie, Djalel Benbouzid+14 more|arXiv (Cornell University)|Jul 1, 2024

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本稿は、協働的で人間中心のAI被害の分類体系を提示します。9つの被害タイプと69の具体的被害に組織化され、協働で開発されました。オープン性・拡張性・市民社会、教育者、政策立案者、そして一般の人々に対する広範なアクセス可能性を強調しています。

ABSTRACT

This paper introduces a collaborative, human-centred taxonomy of AI, algorithmic and automation harms. We argue that existing taxonomies, while valuable, can be narrow, unclear, typically cater to practitioners and government, and often overlook the needs of the wider public. Drawing on existing taxonomies and a large repository of documented incidents, we propose a taxonomy that is clear and understandable to a broad set of audiences, as well as being flexible, extensible, and interoperable. Through iterative refinement with topic experts and crowdsourced annotation testing, we propose a taxonomy that can serve as a powerful tool for civil society organisations, educators, policymakers, product teams and the general public. By fostering a greater understanding of the real-world harms of AI and related technologies, we aim to increase understanding, empower NGOs and individuals to identify and report violations, inform policy discussions, and encourage responsible technology development and deployment.

研究の動機と目的

• 多様な聴衆に適用可能な、明確で人間中心の被害分類体系を開発する。
• AIAAICリポジトリの実世界の事例を活用して分類定義の根拠とする。
• 教育・政策・リスク管理のための、拡張性が高く、相互運用性があり、機械可読なリソースを作成する。
• 市民社会、教育者、政策立案者、そして公共を対象に、反復的な洗練に参加を促す。
• レポーティング、政策討論、責任あるAI導入を情報提供する生きたツールとして分類体系を位置づける。

提案手法

• 多様で国際的な作業グループによる開かれた協働開発。
• 事象を分類し合意を算出するための、カスタムのオープンソースツールを用いた注釈テスト（Krippendorff’s alpha）。
• 既存の分類法をマッピングしギャップを特定するための文献調査とケース分析。
• 正式な定義を伴う、被害タイプと具体的被害の二レベル構造の定義。
• 専門家フィードバック、公開審査、クラウドソーシングによる検証を通じた反復的な改良。

Figure 1 . A screenshot of the annotation testing tool, tailored for collectively assessing and improving the taxonomy.

実験結果

リサーチクエスチョン

• RQ1 広範なAI被害分類が、理解可能で実行可能となるためには、どの被害タイプと具体的被害を含むべきか？
• RQ2 分類体系を、文脈や技術を超えて柔軟性・拡張性・相互運用性を持つように設計できるか？
• RQ3 分類体系は、レポーティング・政策・ジャーナリズム・リスク管理の活動をどのように支援できるか？
• RQ4 OECD、CSET、SHAS などの既存の枠組みと、カバレッジと使いやすさの点でこの分類体系はどう比較されるか？

主な発見

• 9つの被害タイプが定義され、69のサブカテゴリー（具体的な被害）を含む。
• 分類体系はAIAAICリポジトリに基づき、初期ラウンドで39件の事例にわたる1000件超の注釈を取り入れている。
• オープンな注釈ツールは、Sankey図とKrippendorff’s alphaを生成して、注釈者間の同意を監視し改良を導く。
• 分類体系は、広範なコミュニティの入力を通じて継続的な更新が可能な動的な設計になっている。
• さまざまな聴衆に対するリテラシー、レポーティング、ジャーナリズム、アドボカシー、政策立案、リスク管理の改善を意図している。
• 他の分類法と比較して、広範な外向きの視点と社会技術的被害を強調し、相互運用性と実世界での適用性を目指している。

Figure 2 . An overview of the AI, algorithmic and automation harms taxonomy