[논문 리뷰] Preserve, Promote, or Attack? GNN Explanation via Topology Perturbation

Yi Sun, Abel N. Valente외 2명|arXiv (Cornell University)|2021. 03. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 5

한 줄 요약

이 논문은 이미지 분류 및 사회망 베이스의 편향 탐지에서 효과성을 입증한 통합적이고 상호작용 가능한 GNN 설명 프레임워크인 GNNViz를 제안한다. 이 프레임워크는 희박한 토폴로지 변형을 통해 세 가지 사용자 모드를 지원한다: 유지(Preserve, 사실 기반 설명), 향상(Promote, 예측 개선), 공격(Attack, 대비적 내성 테스트). 비차별적 토폴로지 인식 최적화 방법을 도입하여 핵심 엣지를 식별함으로써 효과성을 입증하였다.

ABSTRACT

Prior works on formalizing explanations of a graph neural network (GNN) focus on a single use case - to preserve the prediction results through identifying important edges and nodes. In this paper, we develop a multi-purpose interpretation framework by acquiring a mask that indicates topology perturbations of the input graphs. We pack the framework into an interactive visualization system (GNNViz) which can fulfill multiple purposes: Preserve,Promote, or Attack GNN's predictions. We illustrate our approach's novelty and effectiveness with three case studies: First, GNNViz can assist non expert users to easily explore the relationship between graph topology and GNN's decision (Preserve), or to manipulate the prediction (Promote or Attack) for an image classification task on MS-COCO; Second, on the Pokec social network dataset, our framework can uncover unfairness and demographic biases; Lastly, it compares with state-of-the-art GNN explainer baseline on a synthetic dataset.

연구 동기 및 목표

• 비전문가 사용자가 GNN 예측을 해석하고 조작할 수 있도록 지원하는 다기능 GNN 설명 도구의 부족을 해결한다.
• 기존 GNN 해설기가 예측 유지와 같은 단일 용도에만 국한되어 있는 한계를 극복한다.
• 사용자가 그래프 토폴로지가 GNN 결정에 미치는 영향을 탐색, 수정, 분석할 수 있도록 상호작용 가능한 시각화 시스템을 개발한다.
• 예측 향상(Promote)과 대비적 조작(Attack)을 지원함으로써 사실 기반 및 대비적 설명 사용 사례를 모두 가능하게 한다.
• 실세계 작업, 예를 들어 이미지 분류 및 사회망 편향 탐지에서 프레임워크의 유용성을 입증한다.

제안 방법

• GNN 해설을 토폴로지 변형 문제로 재정의하여, 모델 예측에 영향을 주기 위해 희박한 엣지 추가 및 삭제를 최적화한다.
• 엣지의 중요도 점수를 기반으로 기울기 기반 중요도를 계산하는 미분 가능 최적화 프레임워크를 설계하여 조합적 토폴로지 변화에 대한 효율적 탐색을 가능하게 한다.
• 세 가지 모드를 지원하는 통합 목적 함수를 구현한다: 유지(예측 유지), 향상(예측 향상), 공격(정답 레이블에서 예측을 이탈시키기).
• D3.js와 힘 기반 레이아웃을 사용하여 실시간 사용자 상호작용을 지원하는 상호작용 가능한 시각화 시스템(GNNViz)과 통합한다.
• 대상 GNN 모델로 그래프 컬러리션 네트워크(GCN)를 사용하고, 변형된 부분 그래프 기반 예측 이동을 계산한다.
• 사용자가 추가 또는 제거할 엣지 수를 지정할 수 있도록 GNNViz에서 하이퍼파라미터 제어를 적용하여 반복적 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 GNN 해설 프레임워크는 토폴로지 변형을 통해 사용자 목표인 유지, 향상, 공격를 모두 지원할 수 있는가?
• RQ2 그래프 토폴로지가 GNN 예측 결과에 얼마나 큰 영향을 미치며, 이는 엣지 중요도를 정량적으로 측정할 수 있는가?
• RQ3 상호작용 가능한 시각화 시스템은 비전문가 사용자가 GNN 결정을 효과적으로 해석하고 조작하는 데 도움이 되는가?
• RQ4 제안된 방법은 의미 있는 토폴로지 변화를 식별하는 데 있어 최첨단 GNN 해설기들과 비교해 어떻게 성능을 발휘하는가?
• RQ5 프레임워크는 사회망과 같은 실세계 그래프 데이터에서 숨겨진 편향과 취약점을 드러낼 수 있는가?

주요 결과

• GNNViz는 GNN 예측에 영향을 미치는 핵심 엣지를 성공적으로 식별하였으며, 예를 들어 MS–COCO 데이터셋에서 Person–Motorcycle 연결이 잘못된 예측과 관련이 있음을 확인하였다.
• 향상 모드에서 시스템은 예측 정확도를 향상시키기 위해 Chair–Handbag 엣지를 추가하는 것을 올바르게 제안하였고, GCN 모델은 재평가 시 이를 Handbag으로 정확히 분류하였다.
• 공격 모드에서 시스템은 최소한의 토폴로지 변화—WineGlass–Motorcycle 엣지 추가 및 Handbag–Person 엣지 제거—를 식별하여 GCN 예측을 잘못된 레이블(Wine Glass)로 성공적으로 이동시켰다.
• 프레임워크는 토폴로지 변형이 예측의 공정성에 미치는 영향을 드러내어 Pokec 사회망 데이터셋에서 인구 통계적 편향을 효과적으로 드러내었다.
• 최첨단 GNN 해설기 기반 모델들과 비교해, GNNViz는 특히 대비적 및 사실 기반 해설 작업에서 관련 있는 토폴로지 변화를 식별하는 데 뛰어난 성능을 보였다.
• 상호작용 가능한 시각화 시스템은 사용자가 실시간으로 예측 이동을 탐색하고 검증할 수 있도록 하여 GNN 결정의 해석 가능성과 신뢰도를 향상시켰다.