[논문 리뷰] Evaluating Understanding on Conceptual Abstraction Benchmarks

Victor Vikram Odouard, Melanie Mitchell|arXiv (Cornell University)|2022. 06. 28.

Semantic Web and Ontologies인용 수 7

한 줄 요약

이 논문은 기존의 IID 테스트 세트에서의 표준 정확도를 뛰어넘어, 추상 개념에 대한 AI 시스템의 진정한 이해도를 평가하기 위한 개념 기반 평가 프레임워크를 제안한다. RAVEN과 ARC 벤치마크에서 '상하'와 '경계'와 같은 핵심 개념의 다양한 구현을 통해, ARC-Kaggle2와 같은 모델들이 원래 테스트에서 뛰어난 성능을 보이지만 개념 변형에서는 빈약한 성능을 보이며, 이는 진정으로 추상화하고 일반화하는 능력이 부족하다는 것을 드러낸다.

ABSTRACT

A long-held objective in AI is to build systems that understand concepts in a humanlike way. Setting aside the difficulty of building such a system, even trying to evaluate one is a challenge, due to present-day AI's relative opacity and its proclivity for finding shortcut solutions. This is exacerbated by humans' tendency to anthropomorphize, assuming that a system that can recognize one instance of a concept must also understand other instances, as a human would. In this paper, we argue that understanding a concept requires the ability to use it in varied contexts. Accordingly, we propose systematic evaluations centered around concepts, by probing a system's ability to use a given concept in many different instantiations. We present case studies of such an evaluations on two domains -- RAVEN (inspired by Raven's Progressive Matrices) and the Abstraction and Reasoning Corpus (ARC) -- that have been used to develop and assess abstraction abilities in AI systems. Our concept-based approach to evaluation reveals information about AI systems that conventional test sets would have left hidden.

연구 동기 및 목표

• AI 시스템이 표면적인 패턴 매칭에 의존하는 것이 아니라 추상 개념을 진정으로 이해하고 있는지 평가하는 데 도전하는 것.
• 표준 IID 테스트 세트가 AI 시스템의 일반화 능력과 개념적 이해도를 측정하는 데 한계가 있음을 드러내는 것.
• 추상화 벤치마크에서 핵심 개념의 다양한 구현을 통해 AI 모델을 체계적으로 탐색하는 방법을 개발하는 것.
• 표준 벤치마크에서의 높은 정확도가 개념적으로 유사하지만 구조적으로 다른 문제에 대해 강건한 개념적 이해도를 보장하지는 않음을 입증하는 것.
• 미래의 평가 세트를 위한 기반을 마련하여, 다양한 도메인과 개념에서의 개념적 이해도를 체계적으로 테스트하는 것.

제안 방법

• RAVEN과 ARC와 같은 기존 벤치마크에서 발견된 핵심 추상 개념(예: '상하', '경계')을 식별하여 개념 기반 평가 세트를 설계한다.
• 공간적 관계, 객체 속성 또는 변환 규칙를 변경함으로써 각 개념의 여러 변형을 생성하면서도 핵심 개념적 구조를 유지한다.
• 동일한 기초 개념을 새로운 맥락에서 탐색할 수 있도록 새로운 테스트 문제를 생성하며, 이는 훈련 분포에 포함되지 않도록 보장한다.
• 기존에 훈련된 AI 모델들(예: ARC-Kaggle2)을 동일한 평가 프rotocol를 사용하여 이러한 개념 변형에서 평가한다.
• 원래 테스트 세트와 개념별 변형에서의 모델 성능을 비교하여 개념적 강건성을 평가한다.
• 변형이 의미적으로 유의미하고 개념적으로 일관되게 유지되도록 인간이 애너테이션한 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 동일한 개념이 새로운 맥락에서 제시될 때 AI 모델이 추상 개념에 대한 이해를 얼마나 일반화하는가?
• RQ2 추상화 벤치마크에서 개념 변형에서의 성능가 표준 IID 테스트 세트에서의 성능와 비교해 볼 때 어떻게 다를까?
• RQ3 개념 기반 평가가 표준 벤치마크 점수에서 드러나지 않는 AI 시스템의 숨겨진 약점을 드러낼 수 있는가?
• RQ4 표준 벤치마크에서 잘 성능을 내는 모델들이 깊은 개념적 이해도를 가지고 있는가, 아니면 데이터셋에 특화된 단서에 의존하고 있는가?
• RQ5 AI 시스템의 추상화 능력의 강건성을 효과적으로 탐색하기 위해 체계적인 개념 변형을 어떻게 설계할 수 있는가?

주요 결과

• ARC-Kaggle2는 원래 ARC 테스트 세트에서 19%의 정확도를 기록하여 표준 벤치마크에서 중간 정도의 성능을 보였다.
• 모델의 정확도는 '상하' 개념의 변형에서는 29%로 향상되어 이 특정 도메인에서 맥락 변화에 대해 어느 정도의 강건성을 보이고 있음을 시사한다.
• '경계' 개념의 변형에서의 성능는 뚜렷이 감소하여 단지 8%에 머물러, 이 추상적인 공간 개념을 일반화하는 데에 치명적인 실패를 드러낸다.
• 원래 테스트 세트에서는 일관된 성능를 보였지만 개념 변형에서는 성능 격차가 발생한 점은 표준 벤치마크가 근본적인 개념적 한계를 가림을 보여준다.
• 결과적으로, IID 테스트 세트에서의 높은 정확도가 개념적으로 유사하지만 구조적으로 다른 문제에 대해 강건성을 예측하지 못한다는 것을 입증한다.
• 이 연구는 개념 기반 평가가 기존 평가 프로토콜에서 드러나지 않는 모델의 약점을 드러내며, 특히 추론 및 추상화 작업에서 중요한 영향을 미친다.