[論文レビュー] Studying the Transfer of Biases from Programmers to Programs.

Tore Pedersen, Christian Johansen+1 more|arXiv (Cornell University)|May 17, 2020

Explainable Artificial Intelligence (XAI)参考文献 69被引用数 7

ひとこと要約

本論文は、文化的背景やプログラミング文脈によって形作られるプログラマーのバイアスが、比喩を通じてコードに伝播し、学習データに依存しない形でマシンバイアスを生じさせることを調査する。実験的・比較的手法を用いて、文化的比喩がコーディング選択に影響すること、また文脈的比喩がこれらの影響を増幅または軽減することを示し、学習データに起因する要因以外の新たなアルゴリズム的バイアスの源を明らかにする。

ABSTRACT

It is generally agreed that one origin of machine bias is resulting from characteristics within the dataset on which the algorithms are trained, i.e., the data does not warrant a generalized inference. We, however, hypothesize that a different `mechanism', hitherto not articulated in the literature, may also be responsible for machine's bias, namely that biases may originate from (i) the programmers' cultural background, such as education or line of work, or (ii) the contextual programming environment, such as software requirements or developer tools. Combining an experimental and comparative design, we studied the effects of cultural metaphors and contextual metaphors, and tested whether each of these would `transfer' from the programmer to program, thus constituting a machine bias. The results show (i) that cultural metaphors influence the programmer's choices and (ii) that `induced' contextual metaphors can be used to moderate or exacerbate the effects of the cultural metaphors. This supports our hypothesis that biases in automated systems do not always originate from within the machine's training data. Instead, machines may also `replicate' and `reproduce' biases from the programmers' cultural background by the transfer of cultural metaphors into the programming process. Implications for academia and professional practice range from the micro programming-level to the macro national-regulations or educational level, and span across all societal domains where software-based systems are operating such as the popular AI-based automated decision support systems.

研究の動機と目的

• プログラマーの文化的背景と文脈的プログラミング環境がマシンバイアスに寄与するかどうかを調査すること。
• 文化的比喩がプログラミング意思決定およびコード構造に影響を与えるかどうかを検討すること。
• 文脈的比喩（例：ツールや要件）が文化的比喩の影響を緩和または強化できるかどうかを探索すること。
• AIシステムにおけるバイアスが訓練データに起因するという一般的な仮定に挑戦すること。
• 教育、規制、システム設計に影響を及ぼす新たなバイアス伝播メカニズムを同定すること。

提案手法

• 多様な文化的背景を持つプログラマーを対象とした制御された実験を実施し、コーディングタスクにおける比喩使用を評価した。
• 文化的比喩（例：教育や職業経験に関連する比喩）を、プログラミングタスクにおける独立変数として用いた。
• ソフトウェアツールや要件定義を通じて文脈的比喩を導入し、プログラミング環境を操作した。
• グループ間のプログラミング成果物を比較し、コード構造、名前付け、論理的構造の違いを測定した。
• 文化的比喩と文脈的比喩の影響を分離するために、比較分析を適用した。
• 比喩がプログラマーからプログラムへとどのように伝播したかを追跡するために、定性的および定量的分析を用いた。

実験結果

リサーチクエスチョン

• RQ1 プログラマーが使用する文化的比喩は、生成するコードの構造や論理に影響を与えるか？
• RQ2 開発環境に組み込まれた文脈的比喩は、文化的比喩のコードへの影響を緩和または悪化させることができるか？
• RQ3 文化的背景に根ざしたプログラマーのバイアスが、ソフトウェアシステムにどの程度エンコードされるか？
• RQ4 自動化システムにおけるマシンバイアスは、常に偏った訓練データに起因するものなのか、それともプログラマーのレベルの要因に起因する可能性があるか？
• RQ5 プログラミング環境における比喩は、文化的バイアスがコードへと伝播するのをどのように形作るか？

主な発見

• 文化的比喩は、コードの名前付け、構造、論理的構造におけるプログラマーの選択に顕著な影響を与える。
• 開発ツールや要件に埋め込まれた文脈的比喩は、文化的比喩のコードへの影響を増幅または軽減することができる。
• 文化的比喩がコードへと伝播する様子は、訓練データに依存しない新たなソフトウェアシステムにおけるバイアス伝播メカニズムを示している。
• 同じタスクにさらされた異なる文化的背景のプログラマーは、測定可能な差異を示すコードを生成するため、文化的要因が実装に影響を与えていることが示された。
• 本研究は、自動化システムにおけるバイアスがデータに起因するだけでなく、プログラミングプロセスにおける人間的要因と環境的要因にも起因する可能性があることを明らかにした。
• これは、バイアスが単にデータの問題であるという支配的ナラティブに挑戦し、AIの公平性を高めるためにプログラマーおよび環境的要因を検討する必要があることを強調している。