[논문 리뷰] Accounting for the Neglected Dimensions of AI Progress.

Fernando Martínez‐Plumed, Shahar Avin외 4명|arXiv (Cornell University)|2018. 06. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 26

한 줄 요약

이 논문은 성능 지표 외에도 데이터, 전문 지식, 계산 자원, 개발 시간과 같은 숨겨진 비용을 고려하는 다차원 프레임워크를 도입함으로써 인공지능 발전을 재정의한다. 성능 지표와 함께 이 차원들을 유틸리티 지표로 압축하거나 파레토 효율성 기준으로 진전을 평가함으로써, 알파*와 ALE의 사례 연구를 통해 보다 통합적인 인공지능 발전 평가 기준을 제안한다.

ABSTRACT

We analyze and reframe AI progress. In addition to the prevailing metrics of performance, we highlight the usually neglected costs paid in the development and deployment of a system, including: data, expert knowledge, human oversight, software resources, computing cycles, hardware and network facilities, development time, etc. These costs are paid throughout the life cycle of an AI system, fall differentially on different individuals, and vary in magnitude depending on the replicability and generality of the AI solution. The multidimensional performance and cost space can be collapsed to a single utility metric for a user with transitive and complete preferences. Even absent a single utility function, AI advances can be generically assessed by whether they expand the Pareto (optimal) surface. We explore a subset of these neglected dimensions using the two case studies of Alpha* and ALE. This broadened conception of progress in AI should lead to novel ways of measuring success in AI, and can help set milestones for future progress.

연구 동기 및 목표

• 인공지능 시스템 개발 및 구현 과정에서 자주 간과되는 비용을 특정하고 정량화하는 것.
• 인공지능 발전은 성능 외에도 자원 및 인적 비용의 전반적인 스펙트럼을 기준으로 측정되어야 한다는 주장을 펼치는 것.
• 일관된 선호도를 가진 사용자를 고려해 성능 및 비용 차원을 모두 반영하는 통합 유틸리티 지표를 제안하는 것.
• 성능과 비용 간의 트레이드오프 최적화 집합을 확장하는가를 기준으로 인공지능 발전을 파레토 효율성의 관점에서 평가하는 것.
• 실제 사례 연구인 알파*와 ALE를 통해 프레임워크의 적용 가능성을 입증하는 것.

제안 방법

• 논문은 인공지능 시스템 수명 주기 전반에 걸쳐 성능 및 다양한 비용 요소를 맵핑하는 다차원 공간을 도입한다.
• 사용자 선호도를 순서적이고 완전한 것으로 모델링함으로써 성능 및 비용 차원을 단일 유틸리티 함수로 압축할 수 있도록 한다.
• 파레토 효율성 개념을 적용하여 인공지능 발전이 성능과 비용 간의 최적 트레이드오프 집합을 확장하는지 평가한다.
• 두 사례 연구인 알파*와 ALE를 활용하여 프레임워크의 적용 및 타당성을 실증적으로 제시한다.
• 비용이 개인 간 및 조직 간에 비균형적으로 분포되며, 인공지능 솔루션의 복제 가능성과 일반성에 따라 달라지는 방식을 분석한다.
• 진전은 성능 향상 외에도 숨겨진 비용을 줄이거나 재분배하는 데에도 기여한다는 개념을 정형화한다.

실험 결과

연구 질문

• RQ1 표준 성능 지표를 넘어서 인공지능 발전을 어떻게 의미 있게 평가할 수 있는가?
• RQ2 인공지능 개발 및 구현 과정에서 주요한 숨겨진 비용은 무엇이며, 이는 다양한 시스템 간에 어떻게 다를 수 있는가?
• RQ3 현재의 인공지능 발전은 성능과 비용 트레이드오프의 파레토 최적 경계를 어느 정도 확장하는가?
• RQ4 여러 성능 및 비용 차원에서 통합 유틸리티 지표를 어떻게 유도할 수 있는가?
• RQ5 알파*와 ALE의 사례 연구는 프레임워크의 실용적 관련성을 어떻게 입증하는가?

주요 결과

• 논문은 데이터 수집, 전문가 노동, 계산 자원 사용, 인프라 등 표준 진전 지표에 자주 반영되지 않는 광범위한 간과된 비용을 특정한다.
• 이러한 비용은 개인과 조직 간에 비균형적으로 분포되어 있어 접근성과 능력 격차를 초래한다.
• 순서적이고 완전한 사용자 선호도 조건 하에서 프레임워크는 성능 및 비용 차원을 단일 유틸리티 지표로 압축할 수 있다.
• 인공지능 발전은 성능과 비용 간 트레이드오프의 최적화 집합을 확장하는가를 기준으로 일반적으로 평가될 수 있으며, 이는 개선된 트레이드오프를 의미한다.
• 알파*와 ALE의 사례 연구는 고성능 시스템조차도 확장성과 복제 가능성을 영향을 주는 상당한 숨겨진 비용을 수반한다는 점을 입증한다.
• 제안된 프레임워크는 인공지능 발전이 성능 향상 외에도 자원 사용의 체계적 비효율성과 불평등을 줄이는 데에도 기여한다는 점을 드러낸다.