[논문 리뷰] MEGAN: Multi-Explanation Graph Attention Network

Jonas Teufel, Luca Torresi외 2명|arXiv (Cornell University)|2022. 11. 23.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

MEGAN은 예측 작업 사양에서 설명 채널을 분리하여 그래프 회귀 작업을 위한 다중, 극성 인식 설명을 생성하는 자기 설명형 그래프 신경망을 소개한다. 이는 설명 감독 학습과 공훈련을 통해 미분 가능하고 희박한 고정밀도 설명을 생성함으로써 인간의 직관과 일치하고 합성 데이터에서 거의 완벽한 설명 정확도를 달성한다.

ABSTRACT

We propose a multi-explanation graph attention network (MEGAN). Unlike existing graph explainability methods, our network can produce node and edge attributional explanations along multiple channels, the number of which is independent of task specifications. This proves crucial to improve the interpretability of graph regression predictions, as explanations can be split into positive and negative evidence w.r.t to a reference value. Additionally, our attention-based network is fully differentiable and explanations can actively be trained in an explanation-supervised manner. We first validate our model on a synthetic graph regression dataset with known ground-truth explanations. Our network outperforms existing baseline explainability methods for the single- as well as the multi-explanation case, achieving near-perfect explanation accuracy during explanation supervision. Finally, we demonstrate our model's capabilities on multiple real-world datasets. We find that our model produces sparse high-fidelity explanations consistent with human intuition about those tasks.

연구 동기 및 목표

• 그래프 회귀에서 단일 설명에 기인한 한계를 해결하기 위해, 예측에 영향을 미치는 상반된 영향(예: 양성 대비 음성 기능기 등)을 포괄하지 못하는 문제를 해결한다.
• 예측 작업과 독립적으로 다중 설명 채널을 생성할 수 있는 그래프 신경망을 설계하여 극성 인식 해석을 가능하게 한다.
• 모델이 참조 설명과 일치하는 설명을 생성하도록 학습하는 설명 감독 학습을 가능하게 한다.
• 각 설명 채널을 의도된 해석(예: 양성/음성 영향)을 반영하도록 공훈련하여 모델의 해석 가능성과 정밀도를 향상시킨다.
• 합성 및 실세계 데이터셋에서 모델을 검증하여 인간의 직관과 일치하고 분자의 성질 예측에서 과학적 가설을 뒷받침함을 보여준다.

제안 방법

• MEGAN은 예측 작업의 출력 차원과 독립적인 하이퍼파라미터 K에 따라 각 노드와 간선에 대해 K개의 할당 기반 설명을 생성하기 위해 다중 채널 그래프 주의 메커니즘을 사용한다.
• 주 예측 손실과 각 설명 마스크를 사용한 부분 그래프 근사에서 유도된 설명 손실을 포함하는 이중 손실을 통해 모델을 학습한다.
• 설명 공훈련은 각 채널이 자신의 의도된 해석(예: 양성 또는 음성 영향)에 따라 예측에 충실하게 기여하도록 돕는다. 이는 해당 채널의 마스크만을 사용하여 프록시 예측 작업을 해결하는 방식이다.
• 설명 마스크는 미분 가능하므로 기울기 기반 최적화를 통한 엔드 투 엔드 학습이 가능하다.
• 설명 채널과 그 의도된 해석 간의 일치도를 평가하기 위해 Fidelity* 지표를 도입한다.
• 아키텍처는 KGCNN을 사용하여 텐서플로우/Keras로 구현되었으며, 그래프 분류 및 회귀 작업을 모두 지원한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 예측 작업의 출력 차원과 무관하게 그래프 회귀 작업에 대해 다중 극성 인식 설명을 생성할 수 있는가?
• RQ2 설명 감독 학습은 합성 데이터에서 참조 설명을 학습하는 데 얼마나 효과적인가?
• RQ3 제안된 설명 공훈련 절차는 각 설명 채널이 자신의 의도된 해석(예: 양성 대비 음성 영향)과 일치하도록 보장할 수 있는가?
• RQ4 MEGAN의 설명은 실세계 그래프 데이터셋에서 고정밀도 유지되고 인간의 직관과 일관된가?
• RQ5 사전 인간 직관 없이도 MEGAN은 분자의 성질 예측에서 과학적 가설 생성을 지원할 수 있는가?

주요 결과

• 알려진 참조 설명이 존재하는 합성 그래프 회귀 데이터셋에서 MEGAN은 설명 감독 학습 기간 동안 거의 완벽한 설명 정확도를 달성했으며, 이는 이전 베이스라인 방법보다 뚜렷이 뛰어났다.
• MEGAN은 분자의 성질 예측 작업을 포함한 여러 실세계 데이터셋에서 희박하고 고정밀도의 설명을 생성했으며, 인간의 직관과 일치했다.
• 설명 공훈련 절차는 Fidelity* 지표를 통해 각 채널이 자신의 의도된 해석을 효과적으로 반영하도록 유도하는 데 성공했다.
• 첫 번째 합성 실험에서 설명 감독 학습 기간 동안 예측 성능이 향상되어, 일부 설정에서는 설명 감독이 주 작업 성능 향상에도 기여할 수 있음을 시사했다.
• 공통적인 인간 직관이 없는 실세계 분자의 성질 예측 작업에서 MEGAN은 이전에 발표된 가설을 지지했고, 새로운 잠재적 설명 모티프를 제안했다.
• 모델는 설명 유출 및 뒤집힘에 대해 강건성을 보였으며, 이 드문 문제들은 하이퍼파라미터 튜닝과 후처리 Fidelity* 분석을 통해 완화되었다.