[論文レビュー] An Easy to Use Repository for Comparing and Improving Machine Learning Algorithm Usage

Michael R. Smith, Andrew Dickson White+2 more|arXiv (Cornell University)|May 28, 2014

Machine Learning and Data Classification参考文献 15被引用数 9

ひとこと要約

本論文では、機械学習実験のインスタンスレベルの予測を格納する軽量でアクセスしやすいデータベース、Machine Learning Results Repository（MLRR）を紹介する。アルゴリズム、ハイパーパrameter、学習データセット、およびインスタンスごとの予測結果といった完全な実験詳細を保持することで、MLRRは再現可能なメタラーニング、アルゴリズム比較、および最小限のセットアップコストでのモデル選択を可能にする。

ABSTRACT

The results from most machine learning experiments are used for a specific purpose and then discarded. This results in a significant loss of information and requires rerunning experiments to compare learning algorithms. This also requires implementation of another algorithm for comparison, that may not always be correctly implemented. By storing the results from previous experiments, machine learning algorithms can be compared easily and the knowledge gained from them can be used to improve their performance. The purpose of this work is to provide easy access to previous experimental results for learning and comparison. These stored results are comprehensive -- storing the prediction for each test instance as well as the learning algorithm, hyperparameters, and training set that were used. Previous results are particularly important for meta-learning, which, in a broad sense, is the process of learning from previous machine learning results such that the learning process is improved. While other experiment databases do exist, one of our focuses is on easy access to the data. We provide meta-learning data sets that are ready to be downloaded for meta-learning experiments. In addition, queries to the underlying database can be made if specific information is desired. We also differ from previous experiment databases in that our databases is designed at the instance level, where an instance is an example in a data set. We store the predictions of a learning algorithm trained on a specific training set for each instance in the test set. Data set level information can then be obtained by aggregating the results from the instances. The instance level information can be used for many tasks such as determining the diversity of a classifier or algorithmically determining the optimal subset of training instances for a learning algorithm.

研究の動機と目的

• 通常は使用後に破棄されるが、アクセス可能で再利用可能な機械学習実験結果の不足に対処する。
• 再実行を必要とせずに、学習アルゴリズムやハイパーパrameterを比較できるようにする。
• メタラーナーの訓練および評価に使用可能な包括的でインスタンスレベルのデータを提供することで、メタラーニングを促進する。
• 固定されたデータベーススキーマやPMML依存性がなく、最小限のセットアップやスキーマ知識で利用可能な、即座にダウンロード可能なメタデータセットを提供することで、メタラーニングへの障壁を低減する。
• インスタンスごとの予測の保存を通じて、分類器の多様性分析、カリキュラム学習、インスタンスの難易度特徴化といった高度なタスクを支援する。

提案手法

• 学習アルゴリズム、ハイパーパrameter、使用した学習データセット、および予測結果を含む、インスタンスレベルでの機械学習実験結果を格納する。
• インスタンスレベルのデータを集約して、データセットレベルのメタ特徴量とパフォーマンス指標を導出する。
• メタラーニングタスク（例：最適なアルゴリズムやハイパーパrameterの予測）に使用可能な、ダウンロード可能なメタデータセットを提供する。
• インスタンスレベル分析のための効率的で代表的なメタ特徴量を計算するために、ランドマーク手法（例：決定木スタブ、平均ノードラーナー）を用いる。
• k個の異なる予測を持つ近隣、分離集合のサイズ、木の深さ、クラスの尤度、マイノリティ値、クラスのバランスといったインスタンスレベルの難易度測定値を統合する。
• 固定されたデータベーススキーマやPMML依存性を避け、学習曲線が少なく、直接使用可能な、アクセスしやすい設計を実現する。

実験結果

リサーチクエスチョン

• RQ1 機械学習実験結果をどのように保存・共有すれば、メタラーニングに容易に再利用できるようになるか？
• RQ2 インスタンスレベルの予測は、メタラーニングモデルの精度と解釈可能性をどの程度向上できるか？
• RQ3 軽量でアクセスしやすいデータベースは、学習アルゴリズムやハイパーパrameterの比較に要する作業をどの程度軽減できるか？
• RQ4 インスタンスレベルの難易度測定値は、分類の難易度とアルゴリズムのパフォーマンスとどの程度相関するか？
• RQ5 完全な実験プロバンス（アルゴリズム、ハイパーパrameter、学習データセット）を保存することは、再現性とベンチマークの質にどのような影響を与えるか？

主な発見

• MLRRは、インスタンスごとの予測、ハイパーパrameter、アルゴリズム、学習データセットを含む、即座にダウンロード可能なメタデータセットを提供し、メタラーニング実験への直接的な利用を可能にする。
• インスタンスレベルの予測により、分類器の多様性を測定するためのClassifier Output Difference（COD）指標の計算や、分類が難しいインスタンスの特定といった高度な分析が可能になる。
• k個の異なる予測を持つ近隣、分離集合のサイズ、クラスの尤度といった難易度測定値は、インスタンスレベルの難易度を効果的に捉え、誤分類率と相関する。
• ランドマーク手法の使用により、計算コストを大幅に削減しつつも、競争力のあるパフォーマンスを維持したメタ特徴量の計算が可能になる。
• MLRRは、予測パターンからより簡単なインスタンスを特定することで、カリキュラム学習を支援し、段階的な学習戦略の実装を可能にする。
• リポジトリの軽量な設計により、従来のデータベースやPMMLベースのシステムと比較して学習曲線が著しく低く抑えられ、アクセス性と拡張性が向上する。