[논문 리뷰] AI Evaluation: past, present and future

José Hernández‐Orallo|arXiv (Cornell University)|2014. 08. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 151인용 수 14

한 줄 요약

이 논문은 전통적인 과업 중심 AI 평가 방법을 비판하고, 체계적이고 탄력적이며 인간 중심이 아닌 측정 방식을 강조하는 능력 중심 평가로의 전환을 주장한다. 심리측정 이론, 알고리즘 정보 이론, 표준화된 벤치마크를 활용하여 인지 능력 기반으로 AI 시스템을 평가하는 프레임워크를 제안하며, 이는 좁은 영역 및 일반적 AI의 발전을 지원하는 데 목적이 있다.

ABSTRACT

Artificial intelligence develops techniques and systems whose performance must be evaluated on a regular basis in order to certify and foster progress in the discipline. We will describe and critically assess the different ways AI systems are evaluated. We first focus on the traditional task-oriented evaluation approach. We see that black-box (behavioural evaluation) is becoming more and more common, as AI systems are becoming more complex and unpredictable. We identify three kinds of evaluation: Human discrimination, problem benchmarks and peer confrontation. We describe the limitations of the many evaluation settings and competitions in these three categories and propose several ideas for a more systematic and robust evaluation. We then focus on a less customary (and challenging) ability-oriented evaluation approach, where a system is characterised by its (cognitive) abilities, rather than by the tasks it is designed to solve. We discuss several possibilities: the adaptation of cognitive tests used for humans and animals, the development of tests derived from algorithmic information theory or more general approaches under the perspective of universal psychometrics.

연구 동기 및 목표

• 기존 AI 평가 방법, 특히 벤치마크 및 경쟁 대회와 같은 과업 중심 접근 방식을 비판적으로 평가하는 것.
• 현재 평가 관행의 한계, 예를 들어 표본 추출 편향, 표준화 부족, 인간 판단에 대한 과도한 의존성 등을 규명하는 것.
• 좁은 영역 및 일반적 AI 개발을 뒷받기기 위한 체계적이고 계산 기반이며 인간 중심이 아닌 AI 평가 접근 방식을 주장하는 것.
• 인지 테스트, 보편적 심리측정학, 알고리즘 정보 이론을 바탕으로 한 새로운 범주인 능력 중심 평가를 제안하는 것.
• AI 시스템 평가 프레임워크를 더 신뢰할 수 있고 재현 가능하며 투명하게 설계하기 위한 지침을 수립하는 것.

제안 방법

• AI 평가를 인간의 식별, 문제 벤치마크, 동료 대결의 세 유형으로 분류하고 각각의 강점과 약점을 분석한다.
• 문제 집합 $\Omega$, 시스템 $M$, 응답 함수 $\Phi$, 성능 측정치 $p$, 평가 맥락 $R$를 사용한 공식 평가 프레임워크를 도입한다.
• 다양한 문제 난이도에서의 시스템 성능을 모델링하기 위해 내재된 난이도 함수와 항목 반응 이론을 활용한다.
• 평가 효율성과 탄력성을 향상시키기 위해 클러스터링 또는 범위 기반 샘플링과 같은 효율적 샘플링 전략을 제안한다.
• 시스템에 평가 절차와 문제를 공개함으로써 장기적 비교를 가능하게 하되, 전체 문제 세트나 파ameters는 공개하지 않는 것을 권장한다.
• 항상 평가 후 분석을 통해 항목 반응 함수와 에이전트 반응 함수를 활용하여 이질성과 결과의 타당성을 검증하는 것을 강조한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 AI 평가를 더 체계적이고 신뢰할 수 있으며, 일시적인 벤치마크에 의존도를 낮출 수 있는가?
• RQ2 경쟁 및 벤치마크와 같은 현재의 과업 중심 평가 방법이 진정한 지능을 측정하는 데에서 가지는 한계는 무엇인가?
• RQ3 어떻게 하면 AI 시스템의 일반적 인지 능력을 평가할 수 있는 능력 중심 평가를 체계화할 수 있는가?
• RQ4 보편적 심리측정학과 알고리즘 정보 이론은 객관적이고 영역 독립적인 AI 평가 방법 설계에 어떤 역할을 할 수 있는가?
• RQ5 어떻게 하면 평가 프레임워크가 AI 시스템 성능의 재현 가능성, 투명성, 장기적 비교 가능성을 보장할 수 있는가?

주요 결과

• 경쟁 및 벤치마크와 같은 전통적인 과업 중심 평가 방법은 널리 사용되지만, 표본 추출 편향, 표준화 부족, 일반화 능력 제한 등의 문제를 야기한다.
• 인간의 식별 평가는 주관적이며, 특히 복잡하거나 새로운 AI 행동을 평가할 경우 편향에 취약하다.
• 동료 대결 평가(예: AI 경쟁 대회)는 효과적일 수 있지만, 탄력성을 확보하기 위해 신중한 매치 스케줄링과 적응형 설계가 필요하다.
• 문제 집합 $\Omega$, 시스템 $M$, 응답 함수 $\Phi$, 성능 측정치 $p$, 평가 맥락 $R$를 사용한 제안된 프레임워크는 공식적이고 반복 가능하며 분석 가능한 평가 과정을 가능하게 하여 실증적 분석과 비교를 지원한다.
• 항목 반응 함수와 에이전트 반응 함수는 실증 결과에서 유도할 수 있으며, 이는 이질성을 탐지하고 평가 과정을 검증하는 데 기여한다.
• 집합 평균 점수를 넘는 세부 평가 결과의 공개는 투명성, 재현 가능성, 공동체 검증을 위해 필수적이며, 개방 과학 원칙과 부합한다.