[논문 리뷰] ReLAX: Reinforcement Learning Agent eXplainer for Arbitrary Predictive Models

Ziheng Chen, Fabrizio Silvestri외 4명|arXiv (Cornell University)|2021. 10. 22.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

ReLAX는 블랙박스 예측 모델을 위한 희소성, 타당성, 최적성 확보를 위해 이산-연속 혼합 행동 공간을 갖는 딥 강화학습 기반의 모델에 종속되지 않는 반성적 설명 방법을 제안한다. 이는 분류 및 회귀 과제에서 기존 베이스라인 대비 희소성, 확장성, 일반화 능력에서 뛰어난 성능을 보이며, 코로나19 사망률 감소를 위한 실제 공중보건 정책 제안에도 성공한다.

ABSTRACT

Counterfactual examples (CFs) are one of the most popular methods for attaching post-hoc explanations to machine learning (ML) models. However, existing CF generation methods either exploit the internals of specific models or depend on each sample's neighborhood, thus they are hard to generalize for complex models and inefficient for large datasets. This work aims to overcome these limitations and introduces ReLAX, a model-agnostic algorithm to generate optimal counterfactual explanations. Specifically, we formulate the problem of crafting CFs as a sequential decision-making task and then find the optimal CFs via deep reinforcement learning (DRL) with discrete-continuous hybrid action space. Extensive experiments conducted on several tabular datasets have shown that ReLAX outperforms existing CF generation baselines, as it produces sparser counterfactuals, is more scalable to complex target models to explain, and generalizes to both classification and regression tasks. Finally, to demonstrate the usefulness of our method in a real-world use case, we leverage CFs generated by ReLAX to suggest actions that a country should take to reduce the risk of mortality due to COVID-19. Interestingly enough, the actions recommended by our method correspond to the strategies that many countries have actually implemented to counter the COVID-19 pandemic.

연구 동기 및 목표

• 기존 반성적 설명 생성 방법이 모델에 종속되거나 기울기 의존성 또는 국소 이웃에 의존함으로써 일반화 및 확장성에 한계를 가짐을 해결하기 위해.
• 복잡한 블랙박스 모델에 대해 최적화되고 희소적이며 타당한 반성적 설명을 생성할 수 있는 모델에 종속되지 않는 프레임워크 개발을 위해.
• 반성적 설명 생성을 순차적 결정 문제로 재정의하여, 이산-연속 혼합 행동 공간을 갖는 딥 강화학습을 통해 해결 가능한 방법을 제안하기 위해.
• 실제 국가에서 코로나19 사망률 감소를 위한 실용적인 정책 권고를 생성함으로써 실용적 유용성을 입증하기 위해.

제안 방법

• 에이전트가 입력을 반성적 설명으로 전환하기 위해 최소한의 변형으로 특성과 변화 크기를 선택하는 순차적 결정 문제로 반성적 설명 생성을 설정한다.
• 이산 행동(수정할 특성 선택)과 연속 행동(변화 크기 설정)을 조합한 하이브리드 행동 공간을 정의하여 정밀하고 타당한 편집을 가능하게 한다.
• 계층적 호기심 기반 탐색 전략을 사용한 딥 강화학습을 통해 에이전트의 정책을 최적화하여 보상 최대화를 달성하며, 예측 변화와 원래 인스턴스에의 가까움을 균형 있게 유지한다.
• 두 가지 변형을 구현: ReLAX-Global는 전체 훈련 세트에서 일반화된 정책을 학습하고, ReLAX-Local는 전이 학습을 통해 개별 인스턴스에 맞는 개인화된 정책을 미세조정한다.
• 에이전트가 수정할 수 있는 행동 가능한 특성만 허용하고, 타당한 변화 방향(예: 간호사 비율 증가, 비만율 감소)을 강제하여 실생활 타당성을 확보한다.
• 블랙박스 모델을 보상 함수 평가자로 간주하여, 모델 아키텍처나 내부 구조에 종속되지 않도록 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 모델 내부나 국소 이웃에 의존하지 않고도 임의의 블랙박스 모델에 대해 희소하고 타당한 반성적 설명을 효과적으로 생성할 수 있는가?
• RQ2 ReLAX의 성능은 다양한 테이블 데이터셋에서 기존 반성적 설명 생성 기준 대비 희소성, 근접도, 확장성 측면에서 어떻게 비교되는가?
• RQ3 ReLAX는 실생활 의사결정 상황에서 의미 있고 실행 가능하며 경험적으로 타당한 권고를 도출할 수 있는가?
• RQ4 기존 방법에 비해 이산-연속 혼합 행동 공간이 반성적 설명의 품질과 타당성에 얼마나 기여하는가?

주요 결과

• ReLAX는 다섯 개인 공개 테이블 데이터셋에서 모든 표준 지표에서 기존 베이스라인을 압도하며, 반성적 설명의 희소성, 근접도, 다양성 측면에서 뛰어난 성능을 기록했다.
• 반성적 설명당 평균 수정 특성 수는 1.67개이며, 평균 L1-노름 근접도는 1.18로 매우 희소하고 근접한 반성적 설명을 생성함을 시사한다.
• 전이 학습을 통해 미세조정된 ReLAX-Local는 개별 인스턴스 설명에서 ReLAX-Global보다 더 뛰어난 성능을 보이며, 개인화된 정책 적응의 효과성을 입증한다.
• 고위험 국가에 대한 반성적 설명은 다섯 가지 주요 실행 가능한 변화를 제안한다: 사망률 감소, 실업률 감소, 도시 인구 비율 감소, 비만 유병률 감소, 1만 명당 간호사 비율 증가.
• 이 권고는 실제로 코로나19 패an드믹 기간 동안 채택된 정책과 일치한다. 예를 들어, 미국의 외국 간호사 채용 노력과 비만 관련 위험을 줄이기 위한 공중보건 전략이 포함된다.
• 목표 블랙박스 분류기로 사용된 XGBoost 모델은 테스트 세트에서 85%의 정확도를 기록하여 기반 예측 작업의 견고성을 검증했다.