[論文レビュー] There is no Double-Descent in Random Forests

Sebastian Buschjäger, Katharina Morik|arXiv (Cornell University)|Nov 8, 2021

Machine Learning and Data Classification被引用数 3

ひとこと要約

この論文は、ランダムフォレスト（RFs）が二重降下（double-descent）一般化行動を示すという広く引用されている主張に挑戦し、代わりにモデルの複雑さが増すにつれてテスト誤差が単一降下を示すことを示している。著者らは、RFsが古典的な意味での過学習を示さないことを示しており、過学習した決定木から得たデータで学習させても同様である。さらに、最適な性能がモデル容量ではなく、バイアスと多様性のバランスのとれたトレードオフから生じることを実証的に裏付けるために、ネガティブ相関フォレスト（NCForest）を導入している。

ABSTRACT

Random Forests (RFs) are among the state-of-the-art in machine learning and offer excellent performance with nearly zero parameter tuning. Remarkably, RFs seem to be impervious to overfitting even though their basic building blocks are well-known to overfit. Recently, a broadly received study argued that a RF exhibits a so-called double-descent curve: First, the model overfits the data in a u-shaped curve and then, once a certain model complexity is reached, it suddenly improves its performance again. In this paper, we challenge the notion that model capacity is the correct tool to explain the success of RF and argue that the algorithm which trains the model plays a more important role than previously thought. We show that a RF does not exhibit a double-descent curve but rather has a single descent. Hence, it does not overfit in the classic sense. We further present a RF variation that also does not overfit although its decision boundary approximates that of an overfitted DT. Similar, we show that a DT which approximates the decision boundary of a RF will still overfit. Last, we study the diversity of an ensemble as a tool the estimate its performance. To do so, we introduce Negative Correlation Forest (NCForest) which allows for precise control over the diversity in the ensemble. We show, that the diversity and the bias indeed have a crucial impact on the performance of the RF. Having too low diversity collapses the performance of the RF into a a single tree, whereas having too much diversity means that most trees do not produce correct outputs anymore. However, in-between these two extremes we find a large range of different trade-offs with all roughly equal performance. Hence, the specific trade-off between bias and diversity does not matter as long as the algorithm reaches this good trade-off regime.

研究の動機と目的

• ランダムフォレスト（RFs）が二重降下一般化を示すという主張に挑戦すること。これは、深層ニューラルネットワークで報告された現象であり、RFsに対しても同様に主張されている。
• モデル容量か訓練アルゴリズムのどちらが、RFsの過学習に対する耐性の主な要因であるかを調査すること。
• 特に一般化誤差に関連して、アンサンブル性能におけるバイアスと多様性の役割を評価すること。
• 多様性を制御可能な形で操作できる新しいアルゴリズム、ネガティブ相関フォレスト（NCForest）の開発と検証を行うこと。

提案手法

• 著者らはモデルの複雑さの指標としてラデマッハ複雑度を用いるが、全木のノード数よりも木1本あたりの平均意思決定ノード数の方が、RFの複雑さをより適切に表現すると主張している。
• 木の深さとデータセットサイズを変化させた際のランダムフォレストと決定木のテスト誤差曲線を比較し、RFsが単一降下を示す一方で、DTsは古典的なU字型の過学習を示すことを示している。
• 彼らは、相関ペナルティを用いて木同士の多様性を明示的に制御できるように改良したRFアルゴリズム、ネガティブ相関フォレスト（NCForest）を導入している。
• アンサンブル損失をバイアスと多様性の成分に分解し、次の式を用いている：アンサンブル損失 = バイアス + 1/(2M) * Σ(di * T_D * di)，ここでdiは木iのアンサンブルからの逸脱を表す。
• 複数のデータセット（Adult, Bank, EEG, Magic, Nomao）を用いて実験を行い、5-fold交差検証を平均化して、さまざまな多様性レベルにおける性能を評価している。
• 多様性、バイアス、テスト誤差の関係を分析し、「bathtub型（bathtub-shaped）」の相関関係を同定しており、低すぎても高すぎても性能が低下することが判明した。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストは、モデルの複雑さが増すにつれて、以前に報告されたようにテスト誤差に二重降下曲線を示すのか？
• RQ2 過学習した決定木から得たデータで学習したランダムフォレストの性能は、元の過学習した決定木と比べてどうなるのか？
• RQ3 良好に動作するランダムフォレストから得たデータで学習した決定木は、過学習を回避できるのか、それともそのソースの過学習行動を引き継ぐのか？
• RQ4 ラデマッハ複雑度は、ランダムフォレストにおける一般化性能の予測に信頼できるものか？
• RQ5 木アンサンブルにおけるバイアスと多様性の最適なバランスは何か？ そしてそれは一般化誤差にどのように影響するか？

主な発見

• ランダムフォレストは二重降下を示さない。代わりに、モデルの複雑さが増すにつれてテスト誤差が単一降下を示しており、古典的な過学習の兆候がないことが示された。
• 過学習した決定木から得たデータで学習させても、ランダムフォレストは過学習を示さない。これは、アンサンブルアルゴリズム自体が、ベースラーナーの挙動に関係なく過学習を防いでいることを示している。
• 良好に動作するランダムフォレストから得たデータで学習した決定木は依然として過学習を示す。これは、RFsの優れた一般化性能が、個々の木に引き継がれないことを示している。
• ラデマッハ複雑度は性能予測に失敗する。RFのそれよりも複雑度が低い決定木が、顕著に悪いテスト誤差を示すことがある。
• NCForestでは、性能にほぼ同等の多様性レベルが広く存在しており、正確なバイアス・ダイバーシティトレードオフよりも、バランスの取れた状態を達成することが重要であることが示された。
• ランダムフォレストの最適な性能は、バイアスと多様性のバランスの取れたトレードオフによって達成され、どちらも不足しすぎたり、多すぎたりすると性能が低下することが判明した。