[論文レビュー] Optimizing Prediction Intervals by Tuning Random Forest via Meta-Validation

Sean Bayley, Davide Falessi|arXiv (Cornell University)|Jan 22, 2018

Software Engineering Research参考文献 47被引用数 11

ひとこと要約

本稿では、ソフトウェア欠陥および作業量推定における信頼性が高く、幅の狭い予測区間を構築するため、ランダムフォレストのハイパーパrameterを調整するためのメタバリデーション手法を提案する。8つのバリデーション手法を評価し、3つのメタバリデーション戦略を導入した結果、75/25ホールドアウトが他の手法を常に上回り、デフォルト設定と比較して信頼性の高い区間を実現するとともに、カバレッジと幅の両方を改善した。

ABSTRACT

Recent studies have shown that tuning prediction models increases prediction accuracy and that Random Forest can be used to construct prediction intervals. However, to our best knowledge, no study has investigated the need to, and the manner in which one can, tune Random Forest for optimizing prediction intervals { this paper aims to fill this gap. We explore a tuning approach that combines an effectively exhaustive search with a validation technique on a single Random Forest parameter. This paper investigates which, out of eight validation techniques, are beneficial for tuning, i.e., which automatically choose a Random Forest configuration constructing prediction intervals that are reliable and with a smaller width than the default configuration. Additionally, we present and validate three meta-validation techniques to determine which are beneficial, i.e., those which automatically chose a beneficial validation technique. This study uses data from our industrial partner (Keymind Inc.) and the Tukutuku Research Project, related to post-release defect prediction and Web application effort estimation, respectively. Results from our study indicate that: i) the default configuration is frequently unreliable, ii) most of the validation techniques, including previously successfully adopted ones such as 50/50 holdout and bootstrap, are counterproductive in most of the cases, and iii) the 75/25 holdout meta-validation technique is always beneficial; i.e., it avoids the likely counterproductive effects of validation techniques.

研究の動機と目的

• ランダムフォレストのハイパーパrameterチューニングが、予測区間の信頼性と幅を改善するかどうかを調査すること。
• 予測区間構築の文脈において、ランダムフォレストのチューニングに適した8つのバリデーション手法を評価すること。
• 自動的に最良のチューニング戦略を選択するメタバリデーション手法を開発・検証すること。
• データセットの順序と時間的感度が、バリデーション手法のパフォーマンスに与える影響を評価すること。
• 産業的ソフトウェアアナリティクスにおける予測区間の最適なランダムフォレスト設定を、実践的かつデータドリブンな方法で提供すること。

提案手法

• 本研究では、Keymind Inc. のデータセット（リリース後欠陥予測）とTukutukuプロジェクトのデータセット（Web作業量推定）の2つの実世界データセットを用いる。
• さまざまなバリデーション手法を用いて、複数の設定における1つのハイパーパrameter（max_features）を網羅的探索でチューニングする。
• 8つのバリデーション手法を評価する：50/50ホールドアウト、75/25ホールドアウト、66/33ホールドアウト、時系列交差検証、時系列HV交差検証、ブートストラップ、および非再利用ホールドアウトの2つの変種。
• 各データセットに対して最良のパフォーマンスを示すバリデーション手法を自動的に選択するための3つのメタバリデーション手法を提案する。
• パフォーマンスは、カバレッジ（実際の信頼度）、名目信頼度（提示された信頼度）、および区間幅を用いて測定され、信頼性はカバレッジ ≥ 名目信頼度として定義される。
• 75/25ホールドアウトメタバリデーション手法を用いて最適なバリデーション手法を選択し、データセット全体で一貫した改善を確保する。

実験結果

リサーチクエスチョン

• RQ1 予測区間の信頼性と幅の両方を満たすために、ランダムフォレストのチューニングに使用されるバリデーション手法の中で、どれが最も優れているか。
• RQ2 メタバリデーション手法は、予測区間のチューニングに最も効果的なバリデーション手法を自動で選択できるか。
• RQ3 データセットの順序と時間的感度は、さまざまなバリデーション手法のチューニングパフォーマンスにどのように影響するか。
• RQ4 デフォルト設定と比較して、ランダムフォレストのハイパーパrameterチューニングが、予測区間の信頼性と幅を改善するか。
• RQ5 75/25ホールドアウトバリデーション手法は、さまざまなソフトウェアアナリティクスデータセットにおいて一貫して優れているか。

主な発見

• デフォルトのランダムフォレスト設定では、カバレッジが名目信頼度に達しないことが多く、信頼性の低い予測区間が頻発する。
• 50/50ホールドアウトやブートストラップを含む、多くの標準的なバリデーション手法は逆効果であり、しばしば幅が広がるか、信頼性が低下する。
• 75/25ホールドアウトバリデーション手法は一貫して有益であり、他の手法の欠陥を回避し、信頼性が高く、幅の狭い予測区間を保証する。
• 提案されたメタバリデーションアプローチは、最良のチューニング戦略を効果的に同定でき、両データセットにおいて75/25ホールドアウトが最適な選択であることが明らかになった。
• メタバリデーションによるランダムフォレストのチューニングは、デフォルト設定と比較して、はるかに信頼性が高く、幅の狭い予測区間を実現する。
• 本研究では、産業的データセットにおける時間的感度がバリデーションパフォーマンスに影響を与え、特に順序を保持しない手法（例：ブートストラップ）において顕著であることが示された。