[논문 리뷰] A Test for Evaluating Performance in Human-Computer Systems

Andres Campero, Michelle Vaccaro외 4명|arXiv (Cornell University)|2022. 06. 24.

IoT and Edge/Fog Computing인용 수 21

한 줄 요약

이 논문은 인간–컴퓨터 시스템이 인간 또는 컴퓨터 단독보다 얼마나 개선되는지 정량화하기 위해 평균의 비율 테스트(hat-rho)를 제안하고, 문헌 고찰과 GPT-3 보조 소프트웨어 작업을 포함한 세 가지 실험에서 이를 검증한다.

ABSTRACT

The Turing test for comparing computer performance to that of humans is well known, but, surprisingly, there is no widely used test for comparing how much better human-computer systems perform relative to humans alone, computers alone, or other baselines. Here, we show how to perform such a test using the ratio of means as a measure of effect size. Then we demonstrate the use of this test in three ways. First, in an analysis of 79 recently published experimental results, we find that, surprisingly, over half of the studies find a decrease in performance, the mean and median ratios of performance improvement are both approximately 1 (corresponding to no improvement at all), and the maximum ratio is 1.36 (a 36% improvement). Second, we experimentally investigate whether a higher performance improvement ratio is obtained when 100 human programmers generate software using GPT-3, a massive, state-of-the-art AI system. In this case, we find a speed improvement ratio of 1.27 (a 27% improvement). Finally, we find that 50 human non-programmers using GPT-3 can perform the task about as well as--and less expensively than--the human programmers. In this case, neither the non-programmers nor the computer would have been able to perform the task alone, so this is an example of a very strong form of human-computer synergy.

연구 동기 및 목표

• 인간–컴퓨터 협업으로 인한 성능 향상을 baselines와 비교해 평가하기 위한 정량적 테스트를 제안한다.
• 평균의 비율(rho)과 공동 성능 측정을 위한 시너지를 나타내는 변형인 hat-rho를 정의한다.
• 79개의 결과에 대한 문헌조사와 GPT-3를 포함한 세 가지 실험 연구에서 방법을 시연한다.
• 컨테스트, 특화된 집단 지성, 튜링형 벤치마인을 넘어서는 응용 가능성을 포함해 잠재적 활용처를 논의한다.

제안 방법

• i번 시스템 유형 i의 평균 성능을 X_i로 정의하고 기저값들을 비교하기 위해 rho = X_i / X_j 를 사용한다(H, C, HC 등).
• hat_rho = X_HC / max(X_H, X_C) 를 인간–컴퓨터 시너지를 측정하는 척도로 도입한다.
• 낮은-높은-지향 척도에 맞추기 위해 (예: f(X)=1/X) 같은 바람직한 변환을 적용한다.
• 유의성을 평가하기 위해 평균의 비율과 그 신뢰구간을 사용하고, 작업/순서 효과를 통제하기 위한 회귀 방법을 사용한다.
• 다양한 메트릭에 걸친 hat_rho를 계산하기 위해 2021년의 25편의 논문(79개의 결과)에 대한 문헌고찰을 수행한다.
• 두 가지 원저 연구를 수행한다: (a) 프로그래머를 위한 GPT-3를 활용한 소프트웨어 생성(H, HC)과 (b) 비프로그래머(HC′)를 GPT-3로 다루는 연구를 포함하고 비용 분석을 포함한다.

실험 결과

연구 질문

• RQ1 인간–컴퓨터 팀이 관련 기저값에 비해 긍정적 시너지를 달성하는가(hat_rho > 1)?
• RQ2 최근 인간–컴퓨터 실험에서 관찰된 개선의 크기는 어떤 rho를 나타내는가?
• RQ3 GPT-3 같은 거대 AI가 소프트웨어 생성 작업에서 rho를 의미 있게 증가시킬 수 있는가?
• RQ4 GPT-3를 사용하는 비프로그래머가 프로그래머와 대등하거나 더 나은 성과를 보일 수 있으며 비용이 더 낮을 수 있는가?

주요 결과

• 연구 1에서 비율 분포는 0.44에서 1.36까지이고 평균 ≈ 0.96, 중앙값 ≈ 0.99이며 측정치의 38%에서 긍정적 시너지(hat_rho > 1)가 관찰되었다.
• 문헌에서 관찰된 최대 비율은 1.36으로, 그 샘플에서 최대 36%의 개선을 시사한다.
• 연구 2에서 hat_rho = 1.27(CI [1.10, 1.48])로 인간+GPT-3가 품질 제약하에 인간 단독 대비 27%의 속도 개선을 보였다.
• 연구 3에서 GPT-3를 가진 비프로그래머의 hat_rho가 “무한대”로 나타났는데(두 가지 중 하나만으로는 작업을 수행할 수 없었기 때문), GPT-3를 가진 프로그래머의 경우 단순 비율에서는 비용 이점이 명확하지 않았으나 회귀 분석에서는 비용 이점이 나타났다.
• 회귀 제어에서의 비교 중 한 경우에서 비프로그래머가 프로그래머보다 비용이 낮을 수 있음을 시사하는 비용 분석( p = .010 )이 있었고, 단순 비율은 비용 절감의 유의성을 자주 보여주지 않았다.
• 전반적으로 인간–컴퓨터 시너지는 미미한 수준에서 강한 수준까지의 스펙트럼을 보여주며, GPT-3가 설정에 따라 상당한 성능 및 비용 다이내믹스를 가능하게 할 수 있음을 강조한다.