[論文レビュー] Ethical behavior in humans and machines -- Evaluating training data quality for beneficial machine learning

Thilo Hagendorff|arXiv (Cornell University)|Aug 26, 2020

Ethics and Social Impacts of AI参考文献 99被引用数 4

ひとこと要約

この論文は、教師あり機械学習における学習データ品質を評価するための倫理的枠組みを提唱し、データ品質が技術的指標を超えて倫理的側面を含むべきであると主張している。行動データを社会的・心理的視点から分析することで、『n = 全て』のビッグデータパラダイムに代わる選択的データフィルタリング制度を提案し、より責任あるで有益なAIシステムの実現を可能にする。

ABSTRACT

Machine behavior that is based on learning algorithms can be significantly influenced by the exposure to data of different qualities. Up to now, those qualities are solely measured in technical terms, but not in ethical ones, despite the significant role of training and annotation data in supervised machine learning. This is the first study to fill this gap by describing new dimensions of data quality for supervised machine learning applications. Based on the rationale that different social and psychological backgrounds of individuals correlate in practice with different modes of human-computer-interaction, the paper describes from an ethical perspective how varying qualities of behavioral data that individuals leave behind while using digital technologies have socially relevant ramification for the development of machine learning applications. The specific objective of this study is to describe how training data can be selected according to ethical assessments of the behavior it originates from, establishing an innovative filter regime to transition from the big data rationale n = all to a more selective way of processing data for training sets in machine learning. The overarching aim of this research is to promote methods for achieving beneficial machine learning applications that could be widely useful for industry as well as academia.

研究の動機と目的

• 教師あり機械学習における学習データ品質の倫理的評価の欠如に取り組むこと。
• 多様な社会的・心理的背景が人間-コンピュータインタラクションおよびデータ生成に与える影響を探ること。
• ビッグデータの原則『n = 全て』から、より選択的で倫理的に配慮されたデータキュレーションプロセスへの移行を提案すること。
• 倫理的に評価された学習データを通じて、有益な機械学習アプリケーションの開発基盤を構築すること。
• 人間の行動の倫理的質に基づいてデータを評価する、画期的なフィルタリング制度を提供すること。

提案手法

• デジタル相互作用中に生成された行動データを、倫理的データ評価の根拠として分析する。
• 技術的パフォーマンスだけでなく、倫理的含意に焦点を当てたデータ品質の新たな次元を導入する。
• データを生成した個人の倫理的行動に基づいてデータを評価するフィルタリング制度を提唱する。
• 社会的・心理的理論を活用し、個人の背景と倫理的視点からのデータ品質の関連を明らかにする。
• 機械学習におけるデータ選択を、技術的最適化を超えた道徳的・社会的責任として再定義する。
• 「すべてのデータ」をデフォルトとする学習アプローチに代わり、選択的で倫理的に検証されたデータキュレーション戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 個人間の社会的・心理的差異が、デジタルシステムにおける行動データの倫理的質にどのように影響するか。
• RQ2 教師あり機械学習の学習データにおいて、識別可能で測定可能なデータ品質の倫理的側面は何か。
• RQ3 人間行動の倫理的評価が、機械学習モデルの学習データ選択にどの程度寄与できるか。
• RQ4 'n = 全て'のデータ収集から、選択的で倫理的に評価されたデータへの移行が、機械学習の成果にどのように改善をもたらすか。
• RQ5 有益なAIに統合された倫理的考慮を反映するデータキュレーションのためのフレームワークをどのように構築できるか。

主な発見

• 論文は、学習データ品質が正確性やバランスといった技術的指標を超えて、倫理的側面を含むべきであると特定している。
• 個人の行動データが、データ利用の倫理的含意に影響を与える社会的・心理的背景を反映していることを示している。
• データが表す行動の倫理的質に基づいてデータを評価する概念的フレームワークを確立している。
• 『n = 全て』のデータ収集モデルから離れて、選択的で倫理的に配慮されたデータ選択を促進する画期的なフィルタリング制度を提唱している。
• 倫理的に評価された学習データを通じて、有益な機械学習システムを構築する基盤的アプローチを貢献している。
• 倫理的データキュレーションが、責任あるAI開発にとって不可欠であると位置づけ、産業界および学術界に影響を及ぼす。