[논문 리뷰] Measurement in AI Policy: Opportunities and Challenges

Saurabh Mishra, Jack Clark외 1명|arXiv (Cornell University)|2020. 09. 10.

Ethics and Social Impacts of AI참고 문헌 33인용 수 42

한 줄 요약

이 논문은 2019 스탠포드 워크숍을 기반으로 AI 정책에서의 측정 문제와 기회를 조사하고, 향후 연구를 안내하는 여섯 가지 핵심 과제를 식별한다.

ABSTRACT

As artificial intelligence increasingly influences our world, it becomes crucial to assess its technical progress and societal impact. This paper surveys problems and opportunities in the measurement of AI systems and their impact, based on a workshop held at Stanford University in the fall of 2019. We identify six summary challenges inherent to measuring the progress and impact of AI, and summarize over 40 presentations and associated discussions from the workshop. We hope this can inspire research agendas in this crucial area.

연구 동기 및 목표

• 기술적, 경제적, 사회적 차원에서 AI의 진행 상황과 영향을 어떻게 측정할지 명확히 한다.
• 강력한 AI 측정을 저해하는 정의적·방법론적 병목 현상을 식별한다.
• 정책 활용을 위한 데이터 소스, 지표, 평가 관행 개선 방향을 제안한다.
• 측정이 AI의 거버넌스, 투자, 윤리적 고려에 어떻게 정보를 제공하는지 강조한다.
• 표준화 가능한 측정 프레임워크를 개발하기 위한 학제 간 협력을 장려한다.

제안 방법

• 40개가 넘는 워크숍 발표 및 분과 세션의 통찰을 종합한다.
• 여섯 가지 핵심 측정 도전에 따라 발견을 정리한다.
• 전체 발표와 소그룹 토의를 요약하여 공통 주제를 도출한다.
• 각 영역에 대한 실질적인 측정 질문과 잠재적 연구 방향을 논의한다.

실험 결과

연구 질문

• RQ1 AI가 무엇이며 부문 간 측정을 위해 어떻게 정의되어야 하는가?
• RQ2 단일 지표 평가를 넘어 AI 진행 상황을 어떻게 의미 있게 측정할 수 있는가?
• RQ3 AI 영향과 발전 경로를 가장 잘 포착하는 데이터 및 서지 계량적 방법은 무엇인가?
• RQ4 노동 시장 및 불평등을 포함한 AI의 경제적·사회적 영향을 어떻게 정량화할 수 있는가?
• RQ5 AI의 위험, 거버넌스, 인권 영향 평가에 필요한 지표는 무엇인가?

주요 결과

• 정의상의 모호성과 데이터 세트 특정 벤치마크에의 의존으로 AI 진행 상황은 측정하기 어렵다.
• 벤치마크의 과적합과 편향은 실제 세계의 AI 역량과 안전 문제를 잘못 나타낼 수 있다.
• 다양한 지표와 적대적 평가가 필요하며 단일 점수를 넘어선 견고한 진행 상황을 포착해야 한다.
• 서지 계량 데이터는 기여도, 협력, 확산을 밝힐 수 있지만 저자 표시와 지리적 정보의 신중한 취급이 필요하다.
• 경제적 및 사회적 측정은 무형의 투입(기술, 데이터, 관행)과 서비스 기반 산출을 고려해야 한다.
• 위험, 거버넌스 및 인권 고려사항은 정책 관련 통찰을 위해 구조화된 데이터와 투명한 방법론이 필요하다.