[논문 리뷰] Closing the AI Knowledge Gap

Ziv Epstein, Blakeley H. Payne외 7명|arXiv (Cornell University)|2018. 03. 20.

Ethics and Social Impacts of AI참고 문헌 37인용 수 23

한 줄 요약

논문은 AI 지식 격차를 해소하기 위해 시스템적이고 가설 기반의 과학적 연구를 가능하게 하는 이중시장형 플랫폼인 TuringBox를 제안한다. 이 플랫폼은 알고리즘을 업로드하는 AI 기여자들과 행동 테스트를 기획하고 실행하는 시험자들을 연결하여 재현 가능성, 편향 측정, AI 행동에 대한 다학제적 연구를 촉진한다.

ABSTRACT

AI researchers employ not only the scientific method, but also methodology from mathematics and engineering. However, the use of the scientific method - specifically hypothesis testing - in AI is typically conducted in service of engineering objectives. Growing interest in topics such as fairness and algorithmic bias show that engineering-focused questions only comprise a subset of the important questions about AI systems. This results in the AI Knowledge Gap: the number of unique AI systems grows faster than the number of studies that characterize these systems' behavior. To close this gap, we argue that the study of AI could benefit from the greater inclusion of researchers who are well positioned to formulate and test hypotheses about the behavior of AI systems. We examine the barriers preventing social and behavioral scientists from conducting such studies. Our diagnosis suggests that accelerating the scientific study of AI systems requires new incentives for academia and industry, mediated by new tools and institutions. To address these needs, we propose a two-sided marketplace called TuringBox. On one side, AI contributors upload existing and novel algorithms to be studied scientifically by others. On the other side, AI examiners develop and post machine intelligence tasks designed to evaluate and characterize algorithmic behavior. We discuss this market's potential to democratize the scientific study of AI behavior, and thus narrow the AI Knowledge Gap.

연구 동기 및 목표

• AI 시스템의 수가 증가함에 따라 그 행동에 대한 과학적 이해가 뒤처지는 증가하는 AI 지식 격차를 해결하기 위해.
• 접근성, 도구, 인센티브 부족으로 사회·행동 과학자들이 AI 시스템을 효과적으로 연구하지 못하는 장벽을 극복하기 위해.
• 다양한 시스템에서 AI 행동에 대한 가설 검증을 지원할 수 있는 확장 가능하고 표준화된 플랫폼을 구축하기 위해.
• 컴퓨터 과학자들과 사회 과학자들이 협력하여 AI의 공정성, 편향, 잠재적 행동을 연구할 수 있도록 하기 위해.
• 연구자들과 기관이 알고리즘을 체계적으로 테스트하고 벤치마크할 수 있도록 AI 시스템 평가에 대한 접근성을 민주화하기 위해.

제안 방법

• 이중시장형 플랫폼 설계: 한쪽은 AI 기여자가 알고리즘을 업로드하는 쪽이고, 다른 쪽은 시험자가 머신 인텔리전스 과제를 게시하는 쪽이다.
• 알고리즘 설계자가 자신의 구현 코드를 업로드하도록 요구하여 재현 가능성을 확보하고, 구현 변동성을 줄인다.
• 벤치마크 도구 통합을 통해 기여자가 최첨단 시스템과의 성능을 비교할 수 있도록 한다.
• 사회 과학자들이 다양한 AI 시스템을 통해 공정성 및 편향과 같은 새로운 행동 지표를 정의하고 배포할 수 있도록 한다.
• API를 통해 학술계와 산업계의 참가를 지원하여 기업의 전용 시스템도 준수성 및 투명성 테스트를 받을 수 있도록 한다.
• 학술계와 산업계가 과학적 AI 평가에 지속적으로 참여하도록 유도하기 위해 기관적 구조와 인센티브 체계를 마련한다.

실험 결과

연구 질문

• RQ1 빠르게 증가하는 새로운 AI 시스템의 속도에 맞춰 AI 시스템에 대한 과학적 연구를 어떻게 규모 있게 확장할 수 있는가?
• RQ2 사회·행동 과학자들이 AI 행동을 효과적으로 연구하지 못하게 하는 기관적·기술적 장벽은 무엇인가?
• RQ3 시장 모델이 다양한 AI 시스템의 가설 검증과 행동 특성화를 어떻게 지원할 수 있는가?
• RQ4 표준화되고 재현 가능한 평가 프rotocol는 AI 시스템 내 편향 탐지 및 측정을 어떻게 향상시킬 수 있는가?
• RQ5 통합된 AI 평가 플랫폼은 컴퓨터 과학과 사회 과학 연구 간의 격차를 어떻게 메울 수 있는가?

주요 결과

• AI 지식 격차는 고유한 AI 시스템의 수가 그 행동을 기술하는 과학적 연구 수보다 더 빠르게 증가함에 따라 발생한다.
• 현재 AI 연구는 공학적·수학적 방법론에 의해 지배되어 있어, 공정성, 편향, 사회적 영향에 대한 핵심 질문들이 여전히 부족하게 다뤄지고 있다.
• TuringBox는 알고리즘 접근성을 중앙집중화하고 평가 프로토콜를 표준화함으로써 재현 가능하고 대규모의 과학적 연구를 가능하게 하여 AI 행동에 대한 과학적 연구를 지원한다.
• 사회 과학자들을 시험자로 참여시킴으로써, 다양한 AI 시스템에서 공정성 및 편향 탐지와 같은 새로운 행동 지표 개발을 지원한다.
• 시장 모델은 비정형적 데이터 수집과 감사에 의존하는 것을 줄이고, 비용이 많이 들고 일회성인 알고리즘 감사에 대한 확장 가능한 대안을 제공한다.
• 이 플랫폼은 향후 인공 일반 지능 시스템의 복잡하고 다중 영역에 걸친 행동을 통제되고 체계적인 방식으로 예측하고 연구할 잠재력을 지닌다.