[論文レビュー] A Test for Evaluating Performance in Human-Computer Systems

Andres Campero, Michelle Vaccaro+4 more|arXiv (Cornell University)|Jun 24, 2022

IoT and Edge/Fog Computing被引用数 21

ひとこと要約

本論文は、ヒトとコンピュータのシステムが人間単独またはコンピュータ単独よりどれだけ改善するかを定量化するための平均比テスト（hat-rho）を提案し、文献調査とGPT-3支援のソフトウェアタスクを含む3つの実験を横断的に検証します。

ABSTRACT

The Turing test for comparing computer performance to that of humans is well known, but, surprisingly, there is no widely used test for comparing how much better human-computer systems perform relative to humans alone, computers alone, or other baselines. Here, we show how to perform such a test using the ratio of means as a measure of effect size. Then we demonstrate the use of this test in three ways. First, in an analysis of 79 recently published experimental results, we find that, surprisingly, over half of the studies find a decrease in performance, the mean and median ratios of performance improvement are both approximately 1 (corresponding to no improvement at all), and the maximum ratio is 1.36 (a 36% improvement). Second, we experimentally investigate whether a higher performance improvement ratio is obtained when 100 human programmers generate software using GPT-3, a massive, state-of-the-art AI system. In this case, we find a speed improvement ratio of 1.27 (a 27% improvement). Finally, we find that 50 human non-programmers using GPT-3 can perform the task about as well as--and less expensively than--the human programmers. In this case, neither the non-programmers nor the computer would have been able to perform the task alone, so this is an example of a very strong form of human-computer synergy.

研究の動機と目的

• ヒト-コンピュータ協調におけるパフォーマンス向上をベースラインと比較して評価するための定量的テストを提案する。
• ratio of means（rho）とsynergy variant hat-rho を定義し、共同パフォーマンスを測定する。
• 79件の結果を含む文献調査とGPT-3を含む3つの実験研究で手法を実証する。
• contests、専門的な集合知、そしてチューリングライクなベンチマークを超えた応用を含む潜在的な用途を検討する。

提案手法

• Define X_i as average performance of system type i and rho = X_i / X_j to compare baselines (H, C, HC, etc.).
• Introduce hat_rho = X_HC / max(X_H, X_C) as a measure of human–computer synergy.
• Apply desirable transformations (e.g., f(X)=1/X) to align lower-is-better measures with higher-is-better metrics.
• Use ratio-of-means and its confidence intervals to assess significance, plus regression methods to control for task/order effects.
• Conduct a literature review of 25 papers (79 results) from 2021 to compute hat_rho across diverse metrics.
• Run two original studies: (a) software generation with GPT-3 for programmers (H, HC) and (b) a study with non-programmers (HC′) using GPT-3, including cost analyses.

実験結果

リサーチクエスチョン

• RQ1 人間-コンピュータのチームは関連するベースラインと比較して正のシナジー（hat_rho > 1）を達成するか？
• RQ2 最近の人間-コンピュータ実験で観察される改善の大きさ（rho）はどれくらいか？
• RQ3 GPT-3のような巨大なAIはソフトウェア生成タスクにおいてrhoを意味のある程度まで増やし得るか？
• RQ4 GPT-3を利用する非プログラマーは、プログラマーと同等またはそれ以上の成果を、コストを抑えつつ達成できるか？

主な発見

• Study 1では、比率分布は0.44〜1.36の範囲で、平均約0.96、中央値約0.99；測定値の38%が正のシナジーを示した（hat_rho > 1）。
• 文献で観察された最大の比は1.36であり、そのサンプルでは最大36%の改善を示した。
• Study 2ではhat_rho = 1.27（CI [1.10, 1.48]）で、品質制約の下で人間+GPT-3が人間単独より27%の速度向上。
• Study 3では、非プログラマーがGPT-3を用いた場合、タスクを単独で遂行できなかったためhat_rhoは“infinity”（強いシナジー）となり、GPT-3を用いたプログラマーは単純な比では明確なコスト優位を示さなかったものの、回帰分析ではコスト優位を示した。
• コスト分析は、回帰統制下で非プログラマーがGPT-3を用いた場合にプログラマーよりコストが低い可能性を示唆（p = .010）する一方で、単純な比では大きなコスト削減の有意差が出ないことが多かった。
• 全体として、結果はヒト-コンピュータのシナジーが控えめから強力までのスペクトルを示し、GPT-3が設定次第で実質的なパフォーマンスとコスト動態を生み出し得ることを強調している。