[논문 리뷰] The Problem with Metrics is a Fundamental Problem for AI

Rachel L. Thomas, David Uminsky|arXiv (Cornell University)|2020. 02. 20.

Computability, Logic, AI Algorithms참고 문헌 16인용 수 39

한 줄 요약

본 논문은 메트릭 최적화에 대한 과다한 강조가 AI에 부정적 결과를 초래한다는 주장을 제시하고, 다중 메트릭, 질적 서술, 이해관계자 참여를 활용해 이러한 피해를 완화하는 프레임워크를 제안한다.

ABSTRACT

Optimizing a given metric is a central aspect of most current AI approaches, yet overemphasizing metrics leads to manipulation, gaming, a myopic focus on short-term goals, and other unexpected negative consequences. This poses a fundamental contradiction for AI development. Through a series of real-world case studies, we look at various aspects of where metrics go wrong in practice and aspects of how our online environment and current business practices are exacerbating these failures. Finally, we propose a framework towards mitigating the harms caused by overemphasis of metrics within AI by: (1) using a slate of metrics to get a fuller and more nuanced picture, (2) combining metrics with qualitative accounts, and (3) involving a range of stakeholders, including those who will be most impacted.

연구 동기 및 목표

• 하나의 단일 메트릭에 의존하는 것이 AI 시스템과 사회에 왜 문제인지 동기를 부여한다.
• 메트릭 중심의 최적화가 실제 세계에서 부정적 결과를 초래한 사례를 검토한다.
• 다중 메트릭, 질적 데이터, 다양한 이해관계자를 활용해 피해를 완화하는 실용적 프레임워크를 제안한다.

제안 방법

• 메트릭 과다 강조로 인한 피해를 보여주는 실제 사례를 제시한다.
• 온라인 환경과 비즈니스 관행이 메트릭 실패를 악화시키는 방식을 분석한다.
• 메트릭의 목록, 질적 서술, 이해관계자 참여의 세 가지 구성요소를 갖춘 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 AI에서 메트릭을 과도하게 강조함으로써 발생하는 근본적 피해는 무엇인가?
• RQ2 현실 세계의 관행과 온라인 환경이 메트릭 관련 실패에 어떻게 기여하는가?
• RQ3 다양한 메트릭, 질적 통찰, 이해관계자 참여를 결합하여 피해를 줄일 수 있는 프레임워크는 무엇인가?

주요 결과

• 메트릭 최적화는 시스템 조작과 게임화를 초래할 수 있다.
• 메트릭 의존이 과도하면 단기적 초점과 예측하기 어려운 부정적 효과를 초래한다.
• 피해 완화 프레임워크는 다중 메트릭, 질적 맥락, 이해관계자 참여의 사용을 권고한다.