[논문 리뷰] Grouped variable importance with random forests and application to multiple functional data analysis

Baptiste Gregorutti, Bertrand Michel외 1명|HAL (Le Centre pour la Communication Scientifique Directe)|2014. 11. 15.

Statistical Methods and Inference인용 수 12

한 줄 요약

이 논문은 기능적 데이터 분석에 특화된 랜덤 포레스트를 위한 군집화된 변수 중요도 측정법을 제안하며, 파수 계수를 군집화하여 전체 기능적 변수의 선택을 가능하게 한다. 이 방법은 항공안전 데이터에 적용되어, 추가 모델에서 이론적 근거를 바탕으로 효율적인 군집 기반 특징 선택을 통해 이륙 거리 예측을 향상시킨다.

ABSTRACT

The selection of grouped variables using the random forest algorithm is considered. First a new importance measure adapted for groups of variables is proposed. Theoretical insights into this criterion are given for additive regression models. Second, an original method for selecting functional variables based on the grouped variable importance measure is developed. Using a wavelet basis, it is proposed to regroup all of the wavelet coefficients for a given functional variable and use a wrapper selection algorithm with these groups. Various other groupings which take advantage of the frequency and time localization of the wavelet basis are proposed. An extensive simulation study is performed to illustrate the use of the grouped importance measure in this context. The method is applied to a real life problem coming from aviation safety.

연구 동기 및 목표

• 변수 군집에 대한 사전 지식를 고려한 새로운 군집화된 변수 중요도 측정법을 개발하는 것.
• 예측 변수가 시간에 따라 변화하는 곡선인 다변량 기능적 데이터 분석(FDA)에서 기능적 예측 변수를 선택하는 데 도전하는 것.
• 개별 계수 대신 전체 기능적 변수를 선택하여 예측 정확도와 모델 해석 가능성 향상을 도모하는 것.
• 실제 항공안전 데이터에 이 방법을 적용하여 비행 매개변수를 바탕으로 이륙 거리를 예측하는 것.
• 군집화된 중요도 측정법이 추가 회귀 모델 하에서 가지는 이론적 통찰을 제공하는 것.

제안 방법

• 랜덤 포레스트에서 전체 변수 군집(예: 기능적 변수의 모든 웨이브렛 계수)을 제거했을 때의 out-of-bag 오차에 영향을 평가하는 군집 순열 중요도 측정법을 제안한다.
• 기능적 예측 변수를 표현하기 위해 웨이브렛 기저 분해를 사용하여 기능적 변수 또는 주파수/시간 국소화 기반으로 자연스러운 계수 군집화를 가능하게 한다.
• 군집 중요도에 의해 유도되는 워퍼 기반 순차적 특징 제거(RFE) 알고리즘을 적용하여 중요도가 낮은 군집을 순차적으로 제거한다.
• 카이제곱 분포의 편차 경계를 기반으로 한 하드 스위칭 규칙을 도입하여, 고려할 만한 확률로 진짜 신호 지원을 복구하고자 한다.
• 도노호와 존스톤의 소프트 스위칭 방법을 수정하여 웨이브렛 노이즈 제거에 적용하며, 노이즈 수준(σ)을 위해 MAD 추정법을 사용하고 적응형 임계값을 설정한다.
• 기능적 회귀 프레임워크를 일반화하기 위해 잠재 변수 모델을 도입하여 다양한 조건에서 비균일한 신호 구조를 허용한다.

실험 결과

연구 질문

• RQ1 변수가 자연스럽게 군집화되어 있는 경우(예: 기능적 예측 변수의 웨이브렛 계수) 랜덤 포레스트에서 변수 중요도를 군집에 대해 의미 있게 확장할 수 있는 방법은 무엇인가?
• RQ2 특히 추가 회귀 모델에서 군집화된 중요도 측정법이 가지는 이론적 성질은 무엇인가?
• RQ3 개별 계수 선택과 비교해 볼 때, 군집화된 변수 중요도가 다변량 기능적 데이터 분석에서 특징 선택과 예측 정확도 향상에 기여하는가?
• RQ4 제안된 방법은 항공안전 분야에서 장거리 이륙 거리를 예측하기 위해 관련 비행 매개변수를 효과적으로 식별할 수 있는가?
• RQ5 웨이브렛 기반 군집화(예: 수준 또는 시간-주파수 국소화 기반)는 기능적 데이터 환경에서 랜덤 포레스트 모델의 성능 향상에 기여하는가?

주요 결과

• 군집화된 변수 중요도 측정법은 개별 중요도의 합으로 환원되지 않으며, 비가환 모델에서는 특히 상당한 차이를 보일 수 있다.
• 추가 회귀 모델에서는 군집화된 중요도의 정확한 분해를 도출하여 그 사용에 대한 이론적 근거를 제공한다.
• x = 2 log(N)일 때, 확률 경계가 O(1/N)인 임계값 규칙을 사용하여 진짜 신호 지원의 높은 복구 확률을 달성한다.
• 시뮬레이션 연구를 통해 군집 기반 선택이 개별 계수 선택 대비 예측 정확도와 안정성 측면에서 뛰어난 성능을 보인다.
• 실제 항공안전 응용 사례에서 이 방법은 이륙 거리에 영향을 주는 핵심 비행 매개변수를 성공적으로 식별하여 실용적 유용성을 입증한다.
• δ²_{N,n} = σ²(4 log(N) + 2√(2n log(N)) + n) 조건을 갖는 임계값 규칙은 0 신호의 오진 탐지 확률을 O(1/N)로 제한하여 일관된 복구를 뒷받침한다.