[論文レビュー] Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers

Alicia Curth, Alan Jeffares+1 more|arXiv (Cornell University)|Feb 2, 2024

Neural Networks and Applications被引用数 6

ひとこと要約

木の集合を適応的スムーサとして再定義し、予測の平滑化挙動を定量化する。ランダム化が自己正則化を促し、単なるバイアス-分散の説明を超えた性能向上につながることを示す。

ABSTRACT

Despite their remarkable effectiveness and broad application, the drivers of success underlying ensembles of trees are still not fully understood. In this paper, we highlight how interpreting tree ensembles as adaptive and self-regularizing smoothers can provide new intuition and deeper insight to this topic. We use this perspective to show that, when studied as smoothers, randomized tree ensembles not only make predictions that are quantifiably more smooth than the predictions of the individual trees they consist of, but also further regulate their smoothness at test-time based on the dissimilarity between testing and training inputs. First, we use this insight to revisit, refine and reconcile two recent explanations of forest success by providing a new way of quantifying the conjectured behaviors of tree ensembles objectively by measuring the effective degree of smoothing they imply. Then, we move beyond existing explanations for the mechanisms by which tree ensembles improve upon individual trees and challenge the popular wisdom that the superior performance of forests should be understood as a consequence of variance reduction alone. We argue that the current high-level dichotomy into bias- and variance-reduction prevalent in statistics is insufficient to understand tree ensembles -- because the prevailing definition of bias does not capture differences in the expressivity of the hypothesis classes formed by trees and forests. Instead, we show that forests can improve upon trees by three distinct mechanisms that are usually implicitly entangled. In particular, we demonstrate that the smoothing effect of ensembling can reduce variance in predictions due to noise in outcome generation, reduce variability in the quality of the learned function given fixed input data and reduce potential bias in learnable functions by enriching the available hypothesis space.

研究の動機と目的

• ツリーアンサンブルが training label を平均化する適応的スムーサとしての直感を提供することで、成功の理由を直感的に説明する。
• 平滑化の度合い（有効パラメータ数）を定量化し、訓練時とテスト時の挙動を比較する。
• フォレストの成功を説明する二つの最近の説明（スパイクド・スムース補完と正規化としてのランダム化）を、統一的な平滑化フレームワークの下で調和させる。
• バイアスと分散の概念がフォレストの表現力を完全には捉えきれないことを調査し、三つの異なる改善メカニズムを特定する。
• 平滑化を基盤とした説明を経験的に検証し、分散削減を超えるメカニズムを評価する。

提案手法

• 木とアンサンブルを、平滑化重み sΘ(x0) およびアンサンブル重み wb を持つ適応的で結果依存的なスムーサとして表現する。
• 訓練入力とテスト入力に対する平滑化を定量化する有効パラメータ測度 p0_s_hat を用いる（式 (Eq. 6)）。
• 補間 forest と非補間アンサンブルを、木の構築におけるランダム性とアンサンブルサイズを変化させて比較する。
• 訓練時と検証時の挙動を分析し、 unseen 入力に対してアンサンブルが訓練データよりも平滑になる可能性を示す。
• スパイクド・スムース補完を正規化としてのランダム化に関連付け、両者を平滑化効果の解釈を通じて整合させる。
• シミュレーション（MARSadd 設定）で経験的検証を行い、実データセットでの分析を付録Cで再現する。

実験結果

リサーチクエスチョン

• RQ1 ツリーアンサンブルを適応的スムーサとして解釈することは、予測挙動についてどのような含意を持つか？
• RQ2 木と森林の訓練入力とテスト入力で、実効的な平滑化パラメータ p0_s_hat はどう異なるか？
• RQ3 ランダム化とアンサンブルサイズは、従来のバイアス-分散の説明を超えて、平滑化による分散を低減し一般化を改善するか？
• RQ4 Wyner らのスパイクド・スムースの説明を、Mentch と Zhou のランダム化を正規化としての見解と整合させることは possible か？
• RQ5 分散削減を超えて、フォレストが単一の木より改善する三つの異なるメカニズムとは何か？

主な発見

• 補間的なフォレストアンサンブルは、訓練データより unseen テストデータで有効パラメータを少なく使うため、スパイクド・スムース挙動を示す。
• アンサンブルのランダム性とサイズを増やすと、 unseen 入力に対して平滑化が進み（テストデータの p0_s_hat が低下）、より平滑になる。
• 平滑化の観点は、フォレストが訓練データよりもテスト入力で単独の木よりも平滑になり得ることを捉えており、特に入力が過少定義の場合に顕著である。
• Mentch と Zhou の自由度指標は、フォレストの利点を単独で説明するには不十分であり、p0_s_hat 指標がより完全な説明を提供する。
• フォレストは三つのメカニズムを通じて木より改善する：平滑化はノイズのある結果からの分散を減らし、固定データに対して学習された関数の質のばらつきを減らし、仮説空間を豊かにすることで潜在的なバイアスを低減する。
• 経験的な結果は、インサンプル予測がアウトカムノイズ分散の低減から利得を得る一方、 unseen 入力への一般化は、入力間での異なる平滑化挙動から恩恵を受けることを示す。