[논문 리뷰] RelEx: A Model-Agnostic Relational Model Explainer

Yue Zhang, David DeFazio외 1명|arXiv (Cornell University)|2020. 05. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 16인용 수 7

한 줄 요약

RelEx는 기울기 정보를 사용하지 않고 모델 예측 결과만을 이용해 블랙박스 관계형 모델(예: GNN 및 SRL 모델)에 대해 국소적이고 해석 가능한 설명을 생성하는 모델에 종속되지 않는 관계형 설명기이다. 국소적 미분 가능 근사화를 통해 설명을 구성하고 관계 구조(간선 및 특징)에 대한 해석 가능한 마스크를 학습함으로써, GNN-Explainer와 유사하거나 그 이상의 성능을 달성하며, 모델의 미분 가능성에 관계없이 다양한 도메인 관련 설명을 지원한다.

ABSTRACT

In recent years, considerable progress has been made on improving the interpretability of machine learning models. This is essential, as complex deep learning models with millions of parameters produce state of the art results, but it can be nearly impossible to explain their predictions. While various explainability techniques have achieved impressive results, nearly all of them assume each data instance to be independent and identically distributed (iid). This excludes relational models, such as Statistical Relational Learning (SRL), and the recently popular Graph Neural Networks (GNNs), resulting in few options to explain them. While there does exist one work on explaining GNNs, GNN-Explainer, they assume access to the gradients of the model to learn explanations, which is restrictive in terms of its applicability across non-differentiable relational models and practicality. In this work, we develop RelEx, a model-agnostic relational explainer to explain black-box relational models with only access to the outputs of the black-box. RelEx is able to explain any relational model, including SRL models and GNNs. We compare RelEx to the state-of-the-art relational explainer, GNN-Explainer, and relational extensions of iid explanation models and show that RelEx achieves comparable or better performance, while remaining model-agnostic.

연구 동기 및 목표

• GNN 및 SRL과 같은 관계형 모델에 대해 기울기 기반 방법을 제외한 모델에 종속되지 않는 설명기의 부족을 해결하기 위해.
• 모델의 내부 기울기 또는 아키텍처에 접근할 수 없더라도 입력-출력 행동만으로도 어떤 블랙박스 관계형 모델이라도 설명할 수 있도록 하기 위해.
• 사용자에게 동일한 인스턴스에 대해 다수의 다양한 설명을 제공하여 도메인 관점에서의 해석 가능성 향상시키기 위해.
• 합성 및 실세계 그래프 데이터셋에서 RelEx를 평가하여 기존 방법 대비 정량적·정성적 우수성을 입증하기 위해.

제안 방법

• RelEx는 흐트러진 입력 샘플을 이용해 관심 노드 주변의 블랙박스 관계형 모델에 대해 국소적 미분 가능 근사 모델을 구성한다.
• 블랙박스 예측에 대한 충실도를 최적화함으로써 관계 구조(간선 및 특징)에 대한 해석 가능한 마스크를 학습한다.
• 블랙박스의 기울기에 의존하지 않고도 미분 가능 샘플링과 마스크 학습을 가능하게 하기 위해 시그모이드 또는 군바르-소프트맥스 리프로그래시를 사용한다.
• 설명의 다양성을 증진하기 위해, 동일한 인스턴스에 대해 독립적으로 학습된 두 설명 간의 교차 엔트로피를 최대화한다.
• 퍼티urbed된 데이터 기반으로 훈련된 서rogate 모델을 이용해 예측에 기여하는 가장 영향력 있는 하위그래프(이웃 구조)를 식별함으로써 설명을 생성한다.
• 이 방법은 GNN 및 HL-MRF 모두에 적용되어 관계형 학습 모델 전반에 걸쳐 넓은 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 기울기 접근이 필요 없이 GNN-Explainer와 같은 기울기 기반 방법과 유사한 성능을 달성할 수 있는 모델에 종속되지 않는 관계형 설명기가 가능한가?
• RQ2 RelEx는 동일한 예측에 대해 서로 다른 관계 구조의 측면을 반영하는 다양한 의미 있는 설명을 생성할 수 있는가?
• RQ3 RelEx는 합성 및 실세계 그래프 구조 데이터를 설명할 때 최신 기술 대비 우수하거나 동등한 성능을 보일 수 있는가?
• RQ4 노드 분류 작업에서 RelEx는 올바른 '정답 이유'(기본 관계 구조)를 효과적으로 식별할 수 있는가?

주요 결과

• MUTAG 데이터셋에서 RelEx는 GNN-Explainer 및 기타 기준 모델과 유사하거나 더 낮은 비충실도 점수를 기록했으며, RelEx_Gumbel은 0.05573, GNN-Explainer는 0.05557을 기록했다.
• 합성 데이터셋(트리, 격자, BA)에서 RelEx는 헥사고널 고리 및 -NO₂ 기능과 같은 핵심 위상적 구조를 성공적으로 포착했으며, 기준 관계 패턴과 동일하거나 이를 초월했다.
• RelEx의 다양한 설명 기능 덕분에 동일한 노드에 대해 다수의 타당한 설명을 생성할 수 있었으며, 한 설명은 분자의 펜타고널 및 헥사고널 고리를 모두 반영했고, 다른 설명은 잡음 간선을 배제했다.
• 정성적 결과에서 RelEx_Gumbel은 탄소 원자에서 헥사고널 고리 구조와 질소 원자에서 -NO₂ 구조를 정확히 식별하여 도메인 지식과 일치했다.
• RelEx는 다양한 모델 유형에 대해 강건성을 보였으며, GNN 및 HL-MRF 모두를 성공적으로 설명함으로써 모델에 종속되지 않는 성질을 입증했다.