[論文レビュー] Fairness Testing: A Comprehensive Survey and Analysis of Trends

Zhenpeng Chen, Jie M. Zhang+3 more|arXiv (Cornell University)|Jul 20, 2022

Ethics and Social Impacts of AI被引用数 29

ひとこと要約

この論文はMLソフトウェアにおける100のフェアネス・テスト研究を調査し、テストのワークフローとコンポーネントで整理し、動向、データセット、ツールを分析し、研究機会を強調します。

ABSTRACT

Unfair behaviors of Machine Learning (ML) software have garnered increasing attention and concern among software engineers. To tackle this issue, extensive research has been dedicated to conducting fairness testing of ML software, and this paper offers a comprehensive survey of existing studies in this field. We collect 100 papers and organize them based on the testing workflow (i.e., how to test) and testing components (i.e., what to test). Furthermore, we analyze the research focus, trends, and promising directions in the realm of fairness testing. We also identify widely-adopted datasets and open-source tools for fairness testing.

研究の動機と目的

• フェアネス・テストとフェアネス・バグをMLソフトウェアにおけるソフトウェア工学の観点から定義する。
• フェアネス・テスト研究を、テスト・ワークフロー（どうやってテストするか）とテスト・コンポーネント（何をテストするか）で分類する。
• フェアネス・テストに用いられる公開データセットとオープンソースツールを要約する。
• フェアネス・テストの動向を分析し、将来有望な方向性と未解決の研究機会を特定する。

提案手法

• DBLPから反復キーワード検索とスノーボール法（バックワードおよびフォワード）を用いて100件のフェアネス・テスト論文を収集した。
• 著者のフィードバックを反映して収集を拡大し、100件の論文に達した。
• ワークフローとコンポーネントを中心に知見を抽出・整理するために、テーマ的統合を適用した。
• MLソフトウェアにおけるフェアネス・バグとフェアネス・テストをSEの用語で定義した。
• フェアネス・テストで使用されるデータセットとオープンソースツールの概要を提供した。

実験結果

リサーチクエスチョン

• RQ1 MLソフトウェアにおけるフェアネス・テストで用いられる主要なフェアネスの定義は何か。
• RQ2 実践ではフェアネス・テストはどのように実施されるか（テスト・ワークフロー）と、何のコンポーネントがテストされるか。
• RQ3 フェアネス・テストによく使用されるデータセットとツールは何か。
• RQ4 フェアネス・テスト研究でどのような動向が現れ、特定された機会と課題は何か。

主な発見

• 本調査は100件の論文を対象とし、それらを統合してMLソフトウェアにおけるフェアネス・テストの一貫した見解を得た。
• フェアネス・テストの文献は、テスト・ワークフロー（どうやってテストするか）とテスト・コンポーネント（どこ/何をテストするか）を軸に整理されている。
• 2019年以降に現れたフェアネス・テストの出版物が全体の89%を占めており、研究活動が高まっている。
• 本論文は公開されているデータセットとフェアネス・テストのためのオープンソースツールの概要を提供する。
• 系統的な分析により、研究動向と将来の有望な方向性が特定される。