[논문 리뷰] Integrating Random Forests and Generalized Linear Models for Improved Accuracy and Interpretability

Abhineet Agarwal, Ana Kenney외 3명|arXiv (Cornell University)|2023. 07. 04.

Gene expression and cancer classification인용 수 8

한 줄 요약

제공된 텍스트는 자리표시가 있는 템플릿이며 실질적인 방법, 결과 또는 연구 질문이 설명되어 있지 않습니다.

ABSTRACT

Random forests (RFs) are among the most popular supervised learning algorithms due to their nonlinear flexibility and ease-of-use. However, as black box models, they can only be interpreted via algorithmically-defined feature importance methods, such as Mean Decrease in Impurity (MDI), which have been observed to be highly unstable and have ambiguous scientific meaning. Furthermore, they can perform poorly in the presence of smooth or additive structure. To address this, we reinterpret decision trees and MDI as linear regression and $R^2$ values, respectively, with respect to engineered features associated with the tree's decision splits. This allows us to combine the respective strengths of RFs and generalized linear models in a framework called RF+, which also yields an improved feature importance method we call MDI+. Through extensive data-inspired simulations and real-world datasets, we show that RF+ improves prediction accuracy over RFs and that MDI+ outperforms popular feature importance measures in identifying signal features, often yielding more than a 10% improvement over its closest competitor. In case studies on drug response prediction and breast cancer subtyping, we further show that MDI+ extracts well-established genes with significantly greater stability compared to existing feature importance measures.

연구 동기 및 목표

• 문서는 실제 연구 목적을 보고하기보다는 형식화/템플릿 샘플로 보입니다.
• 제공된 텍스트에는 구체적인 동기나 과학적 목표가 설명되어 있지 않습니다.
• 초록, 방법 및 검증 섹션은 실제 내용이 없는 자리표시일 뿐입니다.

제안 방법

• 본문에 실제 방법론적 내용이 제공되지 않으며 섹션은 자리표시로 라벨링되어 있습니다.
• 이 문서는 새로운 방법론적 기여를 제시하기보다는 여백, 그림, 표 등 형식 가이드라인을 보여줍니다.
• 주요 기술이나 방정식은 제공된 자료에 설명되어 있지 않습니다.

Figure 1: Consistency comparison in fitting surrogate model in the tidal power example.

실험 결과

연구 질문

• RQ1 제공된 텍스트에 명시적 연구 질문이 존재하지 않습니다.

주요 결과

• 제공된 내용에는 실증적 결과나 정량적 발견이 보고되지 않습니다.