[논문 리뷰] Machine Learning for Multi-Output Regression: When should a holistic multivariate approach be preferred over separate univariate ones?

Lena Schmid, Alexander Gerharz외 2명|arXiv (Cornell University)|2022. 01. 14.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 다중출력 회귀에서 다변량 트리 기반 앙상블 방법(랜덤 포레스트 및 익스트라 트리)이 개별 단변량 모델보다 언제 더 잘 성능을 내는지 조사한다. 광범위한 시뮬레이션과 실제 데이터를 통해, 출력 간 상관관계가 존재할 경우 다변량 접근 방식이 예측 정확도를 크게 향상시킴을 보여주며, 특히 랜덤 포레스트에서 두드러진다. 또한 다변량 익스트라 트리는 런타임 효율성 측면에서 뛰어나다. 주요 기여는 출력 상관관계와 의존성 구조를 바탕으로 방법 선택을 안내하는 데이터 기반 프레임워크를 제안하는 것이다.

ABSTRACT

Tree-based ensembles such as the Random Forest are modern classics among statistical learning methods. In particular, they are used for predicting univariate responses. In case of multiple outputs the question arises whether we separately fit univariate models or directly follow a multivariate approach. For the latter, several possibilities exist that are, e.g. based on modified splitting or stopping rules for multi-output regression. In this work we compare these methods in extensive simulations to help in answering the primary question when to use multivariate ensemble techniques.

연구 동기 및 목표

• 다중출력 회귀에서 다변량 트리 기반 앙상블이 개별 단변량 모델보다 언제 더 잘 성능을 내는지 조사한다.
• 출력 상관관계와 의존성 구조가 다변량 대비 단변량 방법의 예측 성능에 미치는 영향을 평가한다.
• 특히 익스트라 트리의 경우, 다변량 및 단변량 접근 방식 간 런타임 효율성을 비교한다.
• 실무자들이 다중출력 예측 작업에 최적의 방법을 선택하는 데 실증적 지침을 제공한다.
• 실제 데이터 환경에서 다변량 트리 방법의 응용을 단변량 기준을 초월하여 확장한다.

제안 방법

• 각 출력 변수별로 별도의 모델을 훈련하는 단변량 랜덤 포레스트(RF) 및 익스트라 트리(ET)를 기준 모델로 사용한다.
• 노드 불순도 함수로 제곱합, 마할라노비스 거리, Eart Mower 거리를 사용하여 다변량 랜덤 포레스트 및 익스트라 트리를 구현한다.
• Simm 등(2014)이 제안한 다중 작업 익스트라 트리 알고리즘을 확장하여 가능도 기반 분할 기준을 활용해 다중 출력을 동시에 처리한다.
• 5개의 폴드 교차검증과 한 개의 샘플을 제외한 교차검증을 사용하여 시뮬레이션 및 실제 데이터 환경에서 예측 오차(MSE)를 추정한다.
• 실제 데이터 예시에서 비교를 위해 MVPART 및 GUIDE 알고리즘을 외부 기준으로 적용한다.
• 다양한 상관관계와 의존성 구조를 가진 10개의 다른 다변량 데이터 생성 메커니즘(MGAMs)을 기반으로 철저한 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 통합적인 다변량 트리 앙상블 접근 방식이 개별 단변량 모델보다 더 높은 예측 정확도를 내는 조건은 무엇인가?
• RQ2 출력 상관관계는 다변량 및 단변량 트리 기반 방법 간의 성능 격차에 어떤 영향을 미치는가?
• RQ3 출력 간 다양한 의존성 구조는 다변량 대비 단변량 모델의 상대적 성능에 어떤 영향을 미치는가?
• RQ4 특히 익스트라 트리의 경우, 다변량 및 단변량 구현 간 런타임 특성은 어떻게 비교되는가?
• RQ5 실제 다중출력 회귀 문제에서 다변량 트리 앙상블이 일관되게 예측 성능을 향상시킬 수 있는가?

주요 결과

• 10개의 시뮬레이션 설정 중 8개에서 다변량 랜덤 포레스트 및 익스트라 트리는 단변량 모델과 비교해 평균 제곱오차(MSE)가 낮거나 유사한 성능을 보였으며, 특히 MGAM 2와 MGAM 3에서 뚜렷한 향상이 있었다.
• 고상관관계 설정에서 다변량 랜덤 포레스트는 단변량 RF 대비 평균 MSE를 최대 12%까지 감소시켰으며, 특히 출력 간 의존성이 존재할 경우 두드러진다.
• 다변량 익스트라 트리 방법은 가장 빠른 런타임 성능을 보였으며, 단변량 및 다변량 RF를 상당한 격차로 앞서며, 이는 연구에서 특별히 최적화하지 않은 상태에서도 성능을 내었다.
• 실제 데이터 예시에서 다변량 접근 방식은 단변량 모델보다 예측 정확도를 향상시켰으며, 특히 익스트라 트리의 경우 단변량 GUIDE 대비 MSE 합계가 5.94% 감소했다.
• 출력 상관관계는 다변량 랜덤 포레스트 성능에 강력한 정의적 영향을 미쳤지만, 단변량 모델이나 다른 방법에는 거의 영향을 주지 않았다.
• 복잡한 의존성 구조가 존재하는 설정에서는 다변량 접근 방식이 일관된 이점을 보였으며, 단변량 모델이 약간 유리한 두 가지 특정 MGAM(MGAM 2 및 MGAM 3)이 있었다.