[논문 리뷰] Re-evaluating Evaluation

David Balduzzi, Karl Tuyls외 2명|arXiv (Cornell University)|2018. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 24

한 줄 요약

이 논문은 평가 데이터를 최대 엔트로피 내 Nash 평형을 갖는 메타게임으로 간주함으로써 부가적인 작업과 에이전트에 자동으로 적응하는 새로운 평가 방법인 Nash 평균을 소개한다. 기존의 Elo와 같은 전통적 지표의 핵심적 한계를 해결하기 위해 순환적 상호작용을 다루고, 골라내기의 편향을 제거하며, 새로운 평가 프레임워크 하에서 인간의 Atari 성능이 최고의 에이전트와 맞먹음을 입증한다.

ABSTRACT

Progress in machine learning is measured by careful evaluation on problems of outstanding common interest. However, the proliferation of benchmark suites and environments, adversarial attacks, and other complications has diluted the basic evaluation model by overwhelming researchers with choices. Deliberate or accidental cherry picking is increasingly likely, and designing well-balanced evaluation suites requires increasing effort. In this paper we take a step back and propose Nash averaging. The approach builds on a detailed analysis of the algebraic structure of evaluation in two basic scenarios: agent-vs-agent and agent-vs-task. The key strength of Nash averaging is that it automatically adapts to redundancies in evaluation data, so that results are not biased by the incorporation of easy tasks or weak agents. Nash averaging thus encourages maximally inclusive evaluation -- since there is no harm (computational cost aside) from including all available tasks and agents.

연구 동기 및 목표

• 벤치마크의 증가와 악성 공격로 인한 기계학습 평가의 복잡성과 편향 증가 문제를 해결하기 위해.
• 에이전트와 작업을 동등하게 다루며, Elo 평가에서처럼 전이성 가정에 의존하지 않는 원칙적이고 대칭적인 평가 프레임워크를 개발하기 위해.
• 중복 데이터에 대해 불변인 평가 방법을 만들기 위해, 계산 비용 부담 없이 최대한 포괄적인 테스트를 가능하게 하기 위해.
• 평가에서 진정으로 중요한 작업과 에이전트는 무엇인지, 평가 자체를 어떻게 평가할 수 있는지에 대한 근본적인 질문에 답하기 위해.

제안 방법

• Nash 평균은 에이전트와 작업을 플레이어로 간주하고 결과를 반대칭 행렬로 모델링하는 메타게임으로 평가 데이터를 해석한다.
• 이 메타게임의 최대 엔트로피 내 Nash 평형을 계산함으로써, 중복되거나 정보가 없는 작업과 에이전트를 자연스럽게 가중치를 낮춘다.
• 잠재적 스킬과 작업 차원을 밝혀내기 위해 반대칭 행렬의 Schur 분해를 활용하여 성능의 多차원 분석을 가능하게 한다.
• 표준 Elo가 모델링할 수 없는 순환적 상호작용(예: 가위-바위-보 다이내믹스)을 다룰 수 있도록 다차원 Elo(mElo) 평가를 도입한다.
• 반대칭 행렬을 전이성(기울기) 및 순환성(회전) 성분으로 분해함으로써, 잡음에서 의미 있는 성능을 분리하는 데에 조합론적 Hodge 이론을 활용한다.
• Nash 분포 하에서 작업의 예상 난이도를 계산함으로써, 에이전트 성능과 무관하게 작업의 난이도를 원칙적으로 평가할 수 있는 방법을 제공한다.

실험 결과

연구 질문

• RQ1 작업이 실제로 측정하고자 하는 능력을 진정으로 테스트하는가, 아니면 숨겨진 편향에 의해 혼란스러워지는가?
• RQ2 작업이나 에이전트가 언제 중복되는가, 그리고 중복성을 어떻게 감지하고 평가에서 자동으로 가중치를 낮출 수 있는가?
• RQ3 벤치마크 세트에서 어떤 작업과 에이전트가 가장 중요한가, 그리고 주관적인 선택 없이 이를 식별할 수 있는가?
• RQ4 평가 과정 자체를 어떻게 평가할 수 있는가, 다양한 벤치마크에서 공정성과 강건성을 확보하기 위해?

주요 결과

• Nash 평균 하에서, 인간의 Atari 벤치마크 성능이 최고의 강화학습 에이전트와 맞먹는 것으로 나타났으며, 초인적 성능에 대한 주장에 도전한다.
• 이 방법은 자동으로 중복된 작업과 에이전트의 영향을 줄여, 쉬운 또는 중복된 과제로 인한 평가 결과의 과대평가를 방지한다.
• 다차원 Elo(mElo) 평가는 가위-바위-보와 같은 순환적 상호작용을 성공적으로 모델링하며, 표준 Elo는 이를 처리할 수 없다.
• 평가 행렬의 Schur 분해를 통해 잠재적 스킬과 작업 차원이 드러나며, 스칼라 점수를 넘는 에이전트 능력에 대한 해석 가능성과 통찰을 제공한다.
• 메타게임의 최대 엔트로피 내 Nash 평형은 순환 다이내믹스가 존재하더라도 에이전트와 작업 평가를 위한 안정적이고 원칙적인 기반을 제공한다.