[논문 리뷰] Game-Theoretic Interpretability for Temporal Modeling

Guang-He Lee, David Alvarez-Melis외 1명|arXiv (Cornell University)|2018. 06. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 9인용 수 5

한 줄 요약

이 논문은 복잡한 예측기와 단순하고 해석 가능한 설명기 간의 협력적 훈련을 통해 국소적 해석 가능성과 아키텍처 제약 없이 해석 가능한 시간 모델링을 위한 게임 이론적 프레임워크를 제안한다. 이 방법은 최고 수준의 정확도를 달성하면서도 안정적이고 국소적으로 해석 가능한 설명을 생성하며, 주식 가격 및 베어링 열화 데이터셋에서 편차 및 총 변동성 지표에서 뚜렷한 향상을 보였다.

ABSTRACT

Interpretability has arisen as a key desideratum of machine learning models alongside performance. Approaches so far have been primarily concerned with fixed dimensional inputs emphasizing feature relevance or selection. In contrast, we focus on temporal modeling and the problem of tailoring the predictor, functionally, towards an interpretable family. To this end, we propose a co-operative game between the predictor and an explainer without any a priori restrictions on the functional class of the predictor. The goal of the explainer is to highlight, locally, how well the predictor conforms to the chosen interpretable family of temporal models. Our co-operative game is setup asymmetrically in terms of information sets for efficiency reasons. We develop and illustrate the framework in the context of temporal sequence models with examples.

연구 동기 및 목표

• 지속적인 순차적 데이터에 대해 복잡한 시간 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 예측기의 기능 클래스에 제약을 두지 않고도 해석 가능성의 향상을 도모하는 프레임워크를 개발하기 위해.
• 예측기를 이웃 영역에서 단순하고 해석 가능한 설명기와 일치시킴으로써 국소적 해석 가능성을 보장하기 위해.
• 협력적 게임 이론적 공식화를 통해 예측 정확도와 해석 가능성의 균형을 이루기 위해.
• 실제 시간 데이터셋, 예를 들어 주식 가격과 기계적 베어링 열화 데이터를 대상으로 접근법을 검증하기 위해.

제안 방법

• 복잡한 예측기 $ f \in \mathcal{F} $ 와 단순하고 해석 가능한 설명기 $ g \in \mathcal{G} $ 사이의 이중자 협력 게임을 프레임워크화하며, 여기서 $ \mathcal{G} $ 는 제약 조건이 있다 (예: 선형 모델 또는 결정식 스탑).
• 국소적 해석 가능성은 이웃 기반의 이질성 측도를 통해 강제된다: $ \min_{g \in \mathcal{G}} \frac{1}{|\mathcal{B}_\epsilon(x_t)|} \sum_{x' \in \mathcal{B}_\epsilon(x_t)} d(f(x'), g(x')) $, 이는 예측기가 지역적으로 설명기와 일치하도록 보장한다.
• 게임은 비대칭 목표를 사용한다: 예측기는 예측 오차를 최소화하고, 설명기는 예측기로부터의 편차를 최소화하며, $ \lambda $ 를 통해 조정되는 정규화 항이 포함된다.
• 설명기는 예측기와 함께 공동으로 훈련되어, 예측기가 기능적으로 복잡한 상태를 유지하면서도 국소적으로 해석 가능한 행동을 유도할 수 있다.
• 이 방법은 예측기로 딥 시퀀스 모델(예: LSTM, CNN)과 설명기로 리지 회귀를 사용하며, 이웃 창 크기 $ \epsilon $ 를 적용한다.
• 시간에 따른 설명의 안정성과 해석 가능성 평가에 총 변동성(TV) 및 편차 지표를 사용한다.

실험 결과

연구 질문

• RQ1 아키텍처 제약 없이 복잡하고 해석 불가능한 예측기를 국소적으로 해석 가능한 모델처럼 행동하도록 이끌 수 있는가?
• RQ2 특히 지속적인 순차적 데이터에 대해 시간 모델링에서 해석 가능성을 어떻게 공식화할 수 있는가?
• RQ3 시계열 모델링에서 예측 정확도와 국소적 해석 가능성 사이의 상호 교환 관계는 어떠한가?
• RQ4 표준 딥러닝 또는 사후 해석 방법과 비교해 협력적 게임 이론적 프레임워크가 안정성과 해석 가능성에 어떻게 기여하는가?
• RQ5 이 프레임워크는 실세계 시간 데이터셋의 다양한 시간 패턴에서 일관되고 의미 있는 설명을 생성할 수 있는가?

주요 결과

• 베어링 데이터셋에서 게임 이론적 모델은 $ \lambda = 0.1 $ 에서 편차 3.431 × 10⁻² 와 TV 5.706 × 10⁻² 를 기록하여 딥 모델(4.197 × 10⁻² 와 7.341 × 10⁻²)에 비해 편차와 TV 를 크게 감소시켰다.
• 주식 시장 데이터셋에서 게임 모델은 편차를 딥 모델의 4.197 × 10⁻² 에서 3.431 × 10⁻² 으로 감소시키고 TV 를 7.341 × 10⁻² 에서 5.706 × 10⁻² 로 낮췄으며, 예측 오차도 낮게 유지( RMSE = 8.136 × 10⁻² ).
• $ \lambda = 0.1 $ 일 때 게임 모델은 정확도에서 딥 모델(RMSE 8.136 × 10⁻²)을 능가하는 RMSE 8.057 × 10⁻² 를 기록하여 정규화 효과를 입증했다.
• 가중치 벡터의 시각화 결과, 게임 모델은 특히 9번째 시간점 이후에 딥 모델보다 더 안정적이고 시간적으로 일관된 설명을 생성했다.
• 베어링 데이터셋에서의 암묵적 게임 공식화는 $ \lambda $ 가 증가함에 따라 해석 가능성(편차 및 TV 감소)이 단조롭게 향상됨을 보여주었으며, 정확도와 해석 가능성 간의 제어 가능한 트레이드오프를 확인했다.
• 암묵적 설정에서 설명기의 파라미터는 베어링 데이터의 고유한 시간 패턴을 반영하였으며, 특히 9번째 시간점 이후의 변화를 포착하여 의미 있는 국소적 해석 가능성을 보였다.