[論文レビュー] Human computation requires and enables a new approach to ethical review

Libuše Hannah Vepřek, Patricia Seymour+1 more|arXiv (Cornell University)|Nov 21, 2020

Ethics and Social Impacts of AI参考文献 19被引用数 4

ひとこと要約

本論文は、参加型デザインとセキュアなテクノソーシャルプラットフォームを活用して、人間計算システムのための動的でクラウドソーシング型の倫理的レビュー枠組みを提案する。この枠組みにより、リアルタイムでの倫理的評価と倫理基準の継続的進化が可能になる。本研究では、IRBの承認とコミュニティからのフィードバックを統合した「生き永く続く倫理」モデルを導入し、人間とコンピュータの協働が進む状況に柔軟に対応しながら、倫理的監視の透明性と再現可能性を高める。

ABSTRACT

With humans increasingly serving as computational elements in distributed information processing systems and in consideration of the profit-driven motives and potential inequities that might accompany the emerging thinking economy[1], we recognize the need for establishing a set of related ethics to ensure the fair treatment and wellbeing of online cognitive laborers and the conscientious use of the capabilities to which they contribute. Toward this end, we first describe human-in-the-loop computing in context of the new concerns it raises that are not addressed by traditional ethical research standards. We then describe shortcomings in the traditional approach to ethical review and introduce a dynamic approach for sustaining an ethical framework that can continue to evolve within the rapidly shifting context of disruptive new technologies.

研究の動機と目的

• 従来のIRB基準が人間計算や市民科学プロジェクトの評価に不十分であることを是正すること。
• 人間がループに参加するシステムにおける技術的・社会的変化に応じて進化する、生き永く続く倫理枠組みを構築すること。
• 透明性・参加型・再現可能性のあるプラットフォームを通じて、倫理的レビューを設計プロセスに統合すること。
• 分散型計算システムにおけるオンライン認知労働者の公正な扱いと幸福度を確保すること。
• 参加者が同時に貢献者であり、研究者である二重の役割を倫理的に認識・保護すること。

提案手法

• 研究者が実験をシミュレートできるサンドボックス環境を備えたテクノソーシャルプラットフォームを設計し、IRBのレビュアーが参加者の視点からそれらを観察できるようにする。
• 専門家がインターフェース上で直接コメントを残し、編集を提案できる、リアルタイムでインタラクティブなIRBレビューを統合する。
• すべての倫理的問題、対話、解決策を、実験のスナップショットにリンクされたバージョン管理済みリポジトリに透明に記録する。
• 倫理ガイドラインが曖昧または不十分な場合に、非専門の貢献者を募集してコミュニティ主導のレビューを実施する。
• コミュニティからのフィードバックを活用して、倫理ガイドラインを段階的に更新・洗練させ、分野の進化に応じて進化させる。
• 意思決定と変更履歴の完全な監査証跡を保存することで、倫理的レビュー過程に再現性を埋め込む。

実験結果

リサーチクエスチョン

• RQ1 人間計算や市民科学の動的で参加型の性質に適合するように、倫理的レビュープロセスはどのように再設計できるか？
• RQ2 倫理的監視が透明性・再現性・新技術的文脈への対応性を保ち続けるために、どのようなメカニズムが必要か？
• RQ3 参加者が同時に貢献者であり、潜在的な研究者であるという役割を、どのように倫理的に認識・保護できるか？
• RQ4 コミュニティからのフィードバックは、人間とコンピュータの協働における倫理基準の関連性と適応性をどのように向上させられるか？
• RQ5 没入的でインタラクティブな評価によって、倫理的レビューをどのように負担軽減かつ効果的にできるか？

主な発見

• 提示されたプラットフォームにより、IRBレビュアーはサンドボックスで実験を体験することで、抽象的な記述に依存せず、より正確に評価できるようになった。
• 倫理的問題と対話は完全にログされ、バージョン管理されるため、再現可能な監査証跡が確保され、透明性と責任の確保が向上した。
• 曖昧な倫理的ケースに対して、非専門の貢献者を動員してレビューを実施でき、学術的ピアレビューを模倣し、文脈的関連性が高まった。
• 倫理ガイドラインは静的ではなく、実際のレビュー結果に基づいて改訂可能であり、倫理枠組みの継続的進化を可能にした。
• 人間計算から得た参加型手法を倫理的レビューに統合することで、スケーラブルで適応的かつ包括的なAIと人間のシステムのガバナンスが実現した。
• 本システムは、従来のIRBの主な限界を是正し、レビュー時間の短縮、参加者への共感の向上、実際のユーザー体験に合致した倫理基準の整備を達成した。