[論文レビュー] The "Collections as ML Data" Checklist for Machine Learning & Cultural Heritage

Benjamin Charles Germain Lee|arXiv (Cornell University)|Jul 6, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

この論文は、文化的遺産コレクションに機械学習を責任を持って適用するための包括的で実務志向のフレームワークである「コレクションを機械学習データとして扱う」チェックリストを紹介する。このフレームワークは、プロジェクトのライフサイクルの各段階にわたり社会的・技術的要因を統合し、機械学習および文化的遺産分野のベストプラクティスに裏打ちされており、GLAM（美術館、図書館、アーカイブ、博物館）の文脈において、倫理的で透明性があり持続可能な機械学習プロジェクトを実現するための実行可能な質問を提供する。

ABSTRACT

Within the cultural heritage sector, there has been a growing and concerted effort to consider a critical sociotechnical lens when applying machine learning techniques to digital collections. Though the cultural heritage community has collectively developed an emerging body of work detailing responsible operations for machine learning in libraries and other cultural heritage institutions at the organizational level, there remains a paucity of guidelines created specifically for practitioners embarking on machine learning projects. The manifold stakes and sensitivities involved in applying machine learning to cultural heritage underscore the importance of developing such guidelines. This paper contributes to this need by formulating a detailed checklist with guiding questions and practices that can be employed while developing a machine learning project that utilizes cultural heritage data. I call the resulting checklist the "Collections as ML Data" checklist, which, when completed, can be published with the deliverables of the project. By surveying existing projects, including my own project, Newspaper Navigator, I justify the "Collections as ML Data" checklist and demonstrate how the formulated guiding questions can be employed and operationalized.

研究の動機と目的

• 文化的遺産データへの機械学習の適用に関する、実務的でプロジェクトレベルのガイドラインの不足に対処すること。
• バイアス、持続可能性、プライバシーを含む、文化的遺産における機械学習の社会的・技術的リスクを、実務者が効果的に管理できるように支援すること。
• 発表物と一緒に公開可能な、構造的で再利用可能なチェックリストを提供し、透明性と説明責任を高めること。
• 批判的データ研究、デジタル・ヒューマニティーズ、責任あるAI分野の既存の原則を、分野特有の文脈に実務化すること。
• 文化的遺産分野における機械学習プロジェクトが、倫理的に根ざしており、再現可能で、長期にわたり維持可能であることを保証すること。

提案手法

• 既存の機械学習チェックリスト（例：Model Cards、Data Cards）および文化的遺産分野のベストプラクティス（例：Responsible Operations、Critical Cataloging）を統合して開発された。
• 4つの主要セクションに構造化されている：データ・モデル、環境的影響、組織的配慮、著作権／透明性／保守。
• 10のサブカテゴリーにわたり105の誘導質問を統合し、プロジェクト開発段階で完了させ、出力物と一緒に公開することを想定している。
• 実際のプロジェクト（著者の自身の Newspaper Navigator を含む）の分析を通じて妥当性が検証され、実務的適用性が裏付けられた。
• ステークホルダー参加、監査可能性、ライセンス、リリース後のフィードバックループに重点を置き、長期的なプロジェクトの整合性を確保する。
• 文書化、再現可能性、公開された説明責任を重視した、機関の業務プロセスへの統合を目的として設計されている。

実験結果

リサーチクエスチョン

• RQ1 文化的遺産機関の実務者は、デジタイズされたコレクションに機械学習を適用するにあたり、どのように倫理的・技術的影響を体系的かつ包括的に評価できるか？
• RQ2 文化的遺産コレクションをデータとして扱う際の責任ある機械学習開発をガイドする、具体的で実行可能な質問は何か？
• RQ3 GLAM文脈における機械学習プロジェクトは、初期リリースを過ぎてもどのようにして透明性、監査可能性、持続可能性を確保できるか？
• RQ4 ステークホルダーの意見、著作権、環境的影響が、文化的遺産分野における責任ある機械学習実践をどのように形作るか？
• RQ5 標準化されたチェックリストは、文化的遺産データを含む機械学習プロジェクトにおける再現可能性と説明責任をどのように向上させるか？

主な発見

• 「コレクションを機械学習データとして扱う」チェックリストは、文化的遺産データを用いた機械学習プロジェクトに倫理的・技術的な厳密性を統合する包括的で現実検証済みのフレームワークを提供する。
• このチェックリストは、批判的データ研究や責任あるAI分野の抽象的原則を、具体的なプロジェクトレベルの質問に実務化した成功事例である。
• チェックリストを完了したプロジェクトは、Newspaper Navigator などの事例研究で示されるように、透明性、ステークホルダー参加、持続可能性計画の向上を実現している。
• データソース、モデルの限界、ライセンス条項の文書化を義務付けることで、再現可能性と監査可能性を支援する。
• 機関でのチェックリストの採用は、GLAM環境における長期的なデータリテラシーと責任あるイノベーションを可能にする。
• リリース後のフィードバック（例：聴衆の到達数、ステークホルダーのフィードバック）を含むチェックリストのコンポonentsは、プロジェクトの説明責任と段階的改善を強化する。