[論文レビュー] Comprehensive Algorithm Portfolio Evaluation using Item Response Theory

Sevvandi Kandanaarachchi, Kate Smith‐Miles|arXiv (Cornell University)|Jan 1, 2020

Online Learning and Analytics被引用数 5

ひとこと要約

この論文では、データセット特徴量の手作業によるエンジニアリングを必要とせずに、多様なデータセット上でアルゴリズムパフォーマンスを評価するための、新しいIRT（項目反応理論）ベースのフレームワーク、AIRTを提案する。従来のIRTモデルを逆転させることで、一貫性、異常性、難易度の上限といったアルゴリズムの特性を推定し、広範な問題領域にわたり説明可能で包括的なアルゴリズムパフォーマンス評価を可能にするとともに、パフォーマンスの高いパーサーチョン選定とデータセットの多様性に対するロバストネスを向上させる。

ABSTRACT

Item Response Theory (IRT) has been proposed within the field of Educational Psychometrics to assess student ability as well as test question difficulty and discrimination power. More recently, IRT has been applied to evaluate machine learning algorithm performance on a single classification dataset, where the student is now an algorithm, and the test question is an observation to be classified by the algorithm. In this paper we present a modified IRT-based framework for evaluating a portfolio of algorithms across a repository of datasets, while simultaneously eliciting a richer suite of characteristics - such as algorithm consistency and anomalousness - that describe important aspects of algorithm performance. These characteristics arise from a novel inversion and reinterpretation of the traditional IRT model without requiring additional dataset feature computations. We test this framework on algorithm portfolios for a wide range of applications, demonstrating the broad applicability of this method as an insightful algorithm evaluation tool. Furthermore, the explainable nature of IRT parameters yield an increased understanding of algorithm portfolios.

研究の動機と目的

• 手作業によるデータセット特徴量のエンジニアリングに依存せずに、広範なデータセットの範囲でアルゴリズムパフォーマンスを評価する手法を開発すること。
• 単一データセットに限定された既存のIRTベースのアルゴリズム評価を、複数データセットにわたるパーサーチョン分析に拡張し、より広範なアルゴリズム行動を捉えること。
• IRTパラメータの再解釈を通じて、一貫性や異常性といった隠れたアルゴリズム特性を明らかにすること。
• 説明可能で数学的に根拠のある評価フレームワークを提供し、パーサーチョン構築とパフォーマンスギャップ分析を支援すること。
• IRTの識別度および難易度パラメータから導かれる潜在的特性推定を活用して、ロバストなアルゴリズム選定を可能にすること。

提案手法

• 従来のIRTモデルを逆転させ、アルゴリズムを「人」、データセットを「項目」とみなす。性能反応は二値または連続的結果として扱う。
• 最大尤度推定法を用いて、アルゴリズム固有の潜在的特性（θ）を推定し、IRTの識別度および難易度パラメータを統合する。
• 追加の計算を伴わずに、IRTモデルパラメータの再解釈を通じて、一貫性、異常性、難易度の上限といった新たなアルゴリズム属性を導出する。
• 潜在的特性曲線にスプラインフィッティングを適用し、θの変動が大きい多様なアルゴリズムを優先するパーサーチョン構築を支援する。
• モデルの適合度を評価するための妥当性指標を用い、推定されたアルゴリズム特性の信頼性を検証する。
• 多様な問題領域にわたる実世界のアルゴリズムパーサーチョンとパフォーマンスデータを提供するASlibリポジトリを活用する。

実験結果

リサーチクエスチョン

• RQ1 項目反応理論は、単一データセットではなく複数データセットにわたるアルゴリズムパーサーチョンを評価するために、どのように適合可能か？
• RQ2 逆転IRTモデルを用いることで、平均パフォーマンスを超える隠れたアルゴリズム特性（一貫性、異常性など）は、どのように特定可能か？
• RQ3 AIRTは、多様な問題インスタンスにおいて、ベースライン手法と比較して性能ギャップが小さいアルゴリズムパーサーチョンを特定できるか？
• RQ4 アルゴリズムのパフォーマンス曲線の多様性（潜在的特性の変動）は、パーサーチョン選定とロバストネスにどのように影響するか？
• RQ5 AIRTは、データセット特徴量のエンジニアリングを一切不要として、アルゴリズム行動に関する説明可能なインサイトをどの程度提供できるか？

主な発見

• AIRTは、データセット特徴量のエンジニアリングを一切行わず、パフォーマンス結果のみを用いて多様なデータセットにわたるアルゴリズムパーサーチョンを評価できることを示した。
• IRTパラメータの再解釈を通じて、一貫性、異常性、難易度の上限といったアルゴリズム固有の特性が明らかにされた。
• AIRTを用いて構築されたパーサーチョンは、他のパーサーチョンと比較して性能ギャップが小さく、特にアルゴリズムが多様な場合に顕著であった。
• 潜在的特性の変動が大きい状況では、AIRTがベースライン手法を上回り、強力なアルゴリズムコンビネーションを特定できた。
• SAT11 INDUデータセットでは、重複する標準誤差と重なった潜在的特性曲線が、アルゴリズムの類似性を示しており、パフォーマンス差が限定的である可能性を示唆している。
• 最大尤度推定を用いることで数学的厳密性を維持し、アルゴリズム行動の理解を高める説明可能なパラメータを提供した。