[論文レビュー] Re-evaluating Evaluation

David Balduzzi, Karl Tuyls+2 more|arXiv (Cornell University)|Jun 7, 2018

Adversarial Robustness in Machine Learning参考文献 57被引用数 24

ひとこと要約

本稿では、評価データを最大エントロピーNash均衡を持つメタゲームとして扱うことで、冗長なタスクやエージェントに自動的に適応する、Nash平均化と呼ばれる新しい評価手法を紹介する。伝統的なElo指標の主な限界を解消し、非推移的相互作用を扱い、選択的採用によるバイアスを排除することで、人間のアタリにおけるパフォーマンスが、この新しい評価フレームワーク下で最良のエージェントと同等であることが示された。

ABSTRACT

Progress in machine learning is measured by careful evaluation on problems of outstanding common interest. However, the proliferation of benchmark suites and environments, adversarial attacks, and other complications has diluted the basic evaluation model by overwhelming researchers with choices. Deliberate or accidental cherry picking is increasingly likely, and designing well-balanced evaluation suites requires increasing effort. In this paper we take a step back and propose Nash averaging. The approach builds on a detailed analysis of the algebraic structure of evaluation in two basic scenarios: agent-vs-agent and agent-vs-task. The key strength of Nash averaging is that it automatically adapts to redundancies in evaluation data, so that results are not biased by the incorporation of easy tasks or weak agents. Nash averaging thus encourages maximally inclusive evaluation -- since there is no harm (computational cost aside) from including all available tasks and agents.

研究の動機と目的

• ベンチマークの増加と対戦的攻撃による機械学習評価の複雑化とバイアスの増大に対処すること。
• 推移的仮定（Elo評価におけるものと同様）に依存しない、原理的で対称的な評価フレームワークを構築すること。
• 冗長なデータに対して不変である評価手法を創出し、計算コストの増加なしに最大限の包括的テストを可能にすること。
• 評価において真に重要なタスクやエージェントは何か、そして評価そのものをどのように評価すべきかという根本的問いに答えること。

提案手法

• Nash平均化は、エージェントとタスクをプレイヤーとみなすメタゲームとして評価データをモデル化し、結果を反対称行列として表現する。
• このメタゲームの最大エントロピーNash均衡を計算することで、冗長または情報のないタスクやエージェントを自然に低重み化する。
• 反対称行列のシュール分解を活用し、潜在的なスキルとタスクの次元を特定することで、パフォーマンスの多次元的分析を可能にする。
• 標準のEloがモデル化できないサイクル的相互作用（例：グーチョキパーのダイナミクス）を扱える多次元Elo（mElo）評価を導入する。
• 組合せ的Hodge理論と反対称行列の可換（勾配）成分と循環的（渇）成分への分解を用い、ノイズから意味のあるパフォーマンスを分離する。
• Nash分布下でのタスクの期待される難易度を計算することで、エージェントのパフォーマンスとは独立してタスクの難易度を原則的かつ客観的に評価する手法を提供する。

実験結果

リサーチクエスチョン

• RQ1 タスクは本当に意図した能力を測定しているのか、それとも隠れたバイアスによって歪められているのか？
• RQ2 タスクやエージェントがどれくらい冗長であるか、そして冗長性を検出し、評価で自動的に低重み化できるか？
• RQ3 ベンチマークスイートにおいて、どのタスクやエージェントが最も重要か、主観的選択なしに特定できるか？
• RQ4 評価プロセスそのものをどのように評価できるか。多様なベンチマークにわたって公平性と頑健性を保証するには？

主な発見

• Nash平均化の下では、アタリベンチマークにおける人間のパフォーマンスが、最良の強化学習エージェントと同等であることが判明し、超人間的パフォーマンスの主張に疑問を呈した。
• この手法は、容易または重複する挑戦によるインフレートを防ぐために、自動的に冗長なタスクやエージェントの重みを低くする。
• 多次元Elo（mElo）評価は、グーチョキパーのような非推移的相互作用を効果的にモデル化でき、標準のEloでは失敗する状況を扱える。
• 評価行列のシュール分解により、潜在的なスキルとタスクの次元が明らかになり、スカラー得点を超えたエージェントの能力に関する解釈可能性と洞察が得られる。
• メタゲームの最大エントロピーNash均衡は、サイクル的ダイナミクスが存在する状況でも、エージェントとタスクの両方の評価のための安定かつ原則的基準を提供する。