[논문 리뷰] Generalized Inverse Classification

Michael T. Lash, Qihang Lin외 3명|arXiv (Cornell University)|2016. 10. 05.

Machine Learning and Data Classification인용 수 20

한 줄 요약

이 논문은 일반화된 역분류(GIC)를 소개하며, 임의의 미분 가능 또는 비미분 가능 분류기에서 예측된 악성 결과의 확률을 감소시키기 위해 실행 가능한 비용 제약 조건을 갖춘 히ュ리스틱 기반 최적화를 가능하게 하는 유연한 프레임워크를 제공한다. 유전 알고리즘과 국소 탐색을 활용하여 실제 환자에서 심혈관질환(CVD) 위험을 55%에서 30% 이하로 감소시켰으며, 민감도 기반 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Inverse classification is the process of perturbing an instance in a meaningful way such that it is more likely to conform to a specific class. Historical methods that address such a problem are often framed to leverage only a single classifier, or specific set of classifiers. These works are often accompanied by naive assumptions. In this work we propose generalized inverse classification (GIC), which avoids restricting the classification model that can be used. We incorporate this formulation into a refined framework in which GIC takes place. Under this framework, GIC operates on features that are immediately actionable. Each change incurs an individual cost, either linear or non-linear. Such changes are subjected to occur within a specified level of cumulative change (budget). Furthermore, our framework incorporates the estimation of features that change as a consequence of direct actions taken (indirectly changeable features). To solve such a problem, we propose three real-valued heuristic-based methods and two sensitivity analysis-based comparison methods, each of which is evaluated on two freely available real-world datasets. Our results demonstrate the validity and benefits of our formulation, framework, and methods.

연구 동기 및 목표

• 기존의 역분류 방법이 분류기 선택에 제한을 둔 점을 해결하기 위해, 특히 높은 정확도나 해석 가능성 요구가 있는 실세계 적용에서의 한계를 해결한다.
• 모델 특화 가정을 피함으로써, 랜덤 포레스트와 같은 비미분 가능 모델을 포함한 모든 분류 모델을 지원하는 일반화된 프레임워크를 개발한다.
• 개별 특성 비용(선형 및 비선형), 누적 변경 예산, 직접 행동에 의해 유도되는 간접적 특성 변경과 같은 실용적 제약 조건을 통합한다.
• 실세계 데이터셋에서 히ュ리스틱 기반 방법과 민감도 분석 기반 기준선 간의 위험 감소 효능 및 실용성 측면에서의 성능을 평가한다.
• 학생 성취도 및 심혈관질환 위험 예측과 같은 두 가지 실세계 데이터셋을 통해 임상 및 교육 현장에서의 응용 가능성을 입증한다.

제안 방법

• 프레임워크는 모델의 예측 함수가 접근 가능하고, 미분 가능하거나 근사가 가능한 한도에서, 어떤 분류 모델이라도 지원한다.
• 개별 비용(선형 또는 비선형)을 고려하여 특성 변경을 모델링하고, 총 변경 크기에 대한 누적 예산 제약 조건을 적용한다.
• 실수형 히ュ리스틱 기반 방법 세 가지를 제안한다: 유전 알고리즘(GA), 오르막 탐색(HC), 국소 탐색(LS)이며, 성능 향상을 위해 조합(예: GA+LS)을 사용한다.
• 비교 평가를 위해 민감도 분석 기반 기준선 방법 두 가지를 구현한다: 고정 강도로 국소 변수 변동(LVP-FI)과 비대칭 강도로 국소 변수 변동(LVP-BI).
• 직접 변경에 의해 영향을 받는 간접 변경 가능한 특성은 직접 변경에 대한 반응을 추정함으로써 프레임워크에 통합되어, 권고의 현실성 향상에 기여한다.
• 비용 및 예산 제약 조건 하에 목표 클래스의 예측 확률을 최소화하기 위해 특성 공간에서 반복적 탐색을 수행함으로써 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트와 같은 비미분 가능 모델을 포함한 모든 분류 모델에서 제약 조건 없는 가정 없이도 작동할 수 있는 일반화된 역분류 프레임워크를 설계할 수 있는가?
• RQ2 실제 비용 및 예산 제약 조건 하에서, 히ュ리스틱 기반 최적화 방법과 민감도 분석 기반 방법 간의 위험 감소 효능은 어떻게 비교되는가?
• RQ3 직접적 및 간접적 특성 변경을 얼마나 효과적으로 활용하여 위험 완화를 위한 실행 가능하고 비용 효율적인 권고를 도출할 수 있는가?
• RQ4 선형 비용 모델 대비 비선형 비용 함수의 포함이 역분류 권고의 현실성과 실용성에 어떻게 기여하는가?
• RQ5 히ュ리스틱 기반 방법이 역분류 작업에서 민감도 기반 방법보다 우월한 조건는 무엇인가?

주요 결과

• 제안된 GIC 프레임워크는 예산 수준 2에서 GA+LS 히ュ리스틱 방법을 사용하여 환자 29의 예측 심혈관질환(CVD) 위험을 55%에서 30% 이하로 감소시켰다.
• CVD 데이터셋 평균적으로, 예산 수준 2에서 히ュ리스틱 기반 방법을 사용하여 위험을 약 50%에서 30~35%로 감소시켰다.
• CVD 데이터셋에서 GA+LS 방법이 모든 다른 방법보다 뛰어난 성능을 보이며 가장 큰 위험 감소를 달성했으며, LVP-FI도 강력한 성능을 보여, 일부 상황에서는 민감도 방법이 우월할 수 있음을 시사했다.
• 학생 성취도 데이터셋에서는 세 가지 히ュ리스틱 방법이 함께 작용하여 예산 수준 3에서 위험을 약 70%에서 약 62%로 감소시켰으며, 개별 최고 성능는 예산 수준 5에서 50%까지 낮추었다.
• 프레임워크는 비선형 비용 함수와 간접적 특성 변경을 성공적으로 통합하여 보다 현실적이고 실행 가능한 권고를 가능하게 하였다.
• 결과는 일반적으로 히ュ리스틱 기반 방법이 민감도 분석 기반 방법보다 위험 감소에서 뛰어나지만, LVP-FI는 CVD 데이터셋에서 강력한 성능을 보여, 혼합형 또는 상황 인식형 방법 선택의 잠재력을 시사한다.