[논문 리뷰] Prediction Rule Reshaping

Matt Bonakdarpour, Sabyasachi Chatterjee외 2명|arXiv (Cornell University)|2018. 05. 16.

Fuzzy Logic and Control Systems인용 수 3

한 줄 요약

이 논문은 고차원 회귀 및 분류 작업에서 단조성 및 볼록성 제약 조건을 강제하기 위해 사전 훈련된 예측 규칙을 재구성하는 두 가지 방법—블랙박스 재구성 및 랜덤 포레스트 전용 재구성—을 제안한다. 두 방법 모두 정확도를 유지하면서도 예측을 효율적으로 재구성하여, 예측 성능을 희생시키지 않고도 형태 제약 조건을 부여할 수 있음을 입증한다. 이는 네 가지 실세계 데이터셋에서 검증되었다.

ABSTRACT

Two methods are proposed for high-dimensional shape-constrained regression and classification. These methods reshape pre-trained prediction rules to satisfy shape constraints like monotonicity and convexity. The first method can be applied to any pre-trained prediction rule, while the second method deals specifically with random forests. In both cases, efficient algorithms are developed for computing the estimators, and experiments are performed to demonstrate their performance on four datasets. We find that reshaping methods enforce shape constraints without compromising predictive accuracy.

연구 동기 및 목표

• 고차원 회귀 및 분류 작업에서 단조성 및 볼록성과 같은 형태 제약 조건을 강제로 적용하는 데 도전하는 것.
• 재훈련 없이도 어떤 사전 훈련된 예측 규칙에도 적용 가능한 융통성 있는 프레임워크를 개발하는 것.
• 랜덤 포레스트의 예측 성능과 구조적 안정성을 유지하면서도 형태 제약 조건을 적용할 수 있도록 전용 방법을 개발하는 것.
• 형태 제약 조건이 부여된 예측이 고차원 환경에서도 높은 정확도를 유지할 수 있음을 입증하는 것.
• 단조성 또는 볼록성이 과학적 또는 윤리적으로 필수적인 실세계 응용 분야에서 해석 가능한 모델을 구현하기 위한 실용적이고 효율적인 솔루션을 제공하는 것.

제안 방법

• 블랙박스 재구성은 특정 변수에서 단조성 또는 볼록성을 강제하기 위해 제약 조건이 있는 최적화 문제를 풀어 예측을 재구성하는 방법이다. 이는 효율적인 이소토니제이션 알고리즘을 사용한다.
• 이 방법은 원본 예측 규칙과 형태 제약 조건을 만족하는 재구성된 함수 사이의 L2 거리를 최소화한다.
• 랜덤 포레스트의 경우, 분할 규칙과 트리 구조를 유지하면서도 리프 노드의 값을 조정하여 재구성한다.
• 다중 차원에서의 이소토니제이션을 위한 효율적인 알고리즘이 개발되어, 변수별로 별도로 정렬하는 것이 아니라 예측자 간의 동시 재구성 가능하다.
• 이 방법은 모델에 종속되지 않아, 랜덤 포레스트, 기울기 부스팅 트리, 딥 러닝 모델 등 어떤 사전 훈련된 모델에도 적용 가능하다.
• 프레임워크는 회귀 및 분류 작업 모두를 지원하며, 필요에 따라 특정 입력 변수에 형태 제약 조건을 적용할 수 있다.

실험 결과

연구 질문

• RQ1 예측 규칙의 형태 제약 조건인 단조성 및 볼록성이 고차원 예측 규칙에 효과적으로 적용될 수 있는가? 이때 정확도가 저하되지 않는가?
• RQ2 기존의 예측 성능을 유지하면서도 사전 훈련된 모델을 형태 제약 조건에 맞게 재구성할 수 있는가?
• RQ3 고차원 입력을 가진 대규모 데이터셋에 적용했을 때, 재구성 방법의 계산 효율성은 어떠한가?
• RQ4 분할 규칙이나 트리의 구조를 변경하지 않으면서도 랜덤 포레스트와 같은 복잡한 모델에 재구성 기법을 적용할 수 있는가?
• RQ5 다양한 실세계 데이터셋에서 재구성된 예측 결과는 원본 모델 대비 정확도와 제약 조건 이행 측면에서 어떻게 비교되는가?

주요 결과

• 재구성 방법은 네 가지 데이터셋 전부에서 단조성 및 볼록성 제약 조건을 성공적으로 강제했으며, 정확도에 영향을 주지 않았다.
• 당뇨병 데이터셋에서 모든 추정기—재구성된 랜덤 포레스트 포함—는 거의 동일한 평균 제곱오차를 기록하여 정확도 손실가 없음을 보였다.
• Zillow 데이터셋에서는 큰 제약 조건 집합이 존재하더라도 평균 절대백분율 오차(MAPE)가 모든 방법에서 구분되지 않았다.
• Adult 데이터셋에서는 소득 예측에서 재구성 후 테스트 세트 정확도가 유지되었으며, 자본 수익, 주당 근무 시간, 교육 수준, 성별 임금 격차에 대해 단조성이 강제되었다.
• Spambase 데이터셋에서는 재구성 후 스팸 분류 확률이 'george'와 'hp' 단어 빈도에 대해 단조롭게 감소하는 경향을 보였으며, 성능 저하 없이 이루어졌다.
• 이 방법들은 계산적으로 효율적이며 확장 가능하며, 블랙박스 접근 방식은 어떤 사전 훈련된 모델에도 적용 가능하고, 랜덤 포레스트 방법은 트리의 구조를 유지하면서도 제약 조건을 강제한다.