[논문 리뷰] A Survey on Graph Counterfactual Explanations: Definitions, Methods, Evaluation, and Research Challenges

Mario Alfonso Prado-Romero, Bardh Prenkaj외 2명|arXiv (Cornell University)|2022. 10. 21.

Advanced Graph Neural Networks참고 문헌 105인용 수 8

한 줄 요약

이 종합 검토는 그래프 신경망(GNN)을 위한 그래프 반사적 설명(GCE)에 대해 체계적이고 공식화된 개요를 제공하며, 통합된 분류 체계, 평가 프레임워크 및 벤치마킹 프로토콜를 제안한다. 다중 클래스 GNN 환경에서 최소 반사적 설명의 첫 공식화를 제안하며, GRETEL 라이브러리를 통해 22개 데이터셋과 19개의 메트릭을 사용해 14개의 방법을 평가한다. 신뢰할 수 있는 AI를 위한 공정성, 개인정보 보호 및 표준화 분야의 핵심 과제를 규명한다.

ABSTRACT

Graph Neural Networks (GNNs) perform well in community detection and molecule classification. Counterfactual Explanations (CE) provide counter-examples to overcome the transparency limitations of black-box models. Due to the growing attention in graph learning, we focus on the concepts of CE for GNNs. We analysed the SoA to provide a taxonomy, a uniform notation, and the benchmarking datasets and evaluation metrics. We discuss fourteen methods, their evaluation protocols, twenty-two datasets, and nineteen metrics. We integrated the majority of methods into the GRETEL library to conduct an empirical evaluation to understand their strengths and pitfalls. We highlight open challenges and future work.

연구 동기 및 목표

• GNN를 위한 그래프 반사적 설명(GCE) 분야에서 표준화된 정의, 평가 프로토콜 및 벤치마킹이 부족한 문제를 해결하기 위해.
• 다중 클래스 GNN 예측 작업에서 최소 반사적 설명의 개념을 통합하고 공식화하기 위해.
• 체계적인 비교를 위해 10개 차원에 걸쳐 기존 GCE 방법을 체계적으로 분류하기 위해.
• GRETEL 평가 프레임워크를 통해 22개 데이터셋과 19개 메트릭을 사용해 14개 최첨단 GCE 방법을 평가하기 위해.
• 미래의 GCE 연구를 위한 공정성, 개인정보 보호 및 표준화 분야의 열린 과제를 규명하기 위해.

제안 방법

• 다중 클래스 GNN를 위한 최소 반사적 설명의 공식 정의를 제안하며, 모든 클래스에 걸쳐 전역 최소 반사적 설명을 포함한다.
• 변경 유형, 검색 전략, 설명 가능 범위와 같은 핵심 특성에 기반해 GCE 방법을 체계적으로 비교할 수 있는 10차원 분류 프레임워크를 도입한다.
• GRETEL 라이브러리를 활용해 14개의 GCE 방법을 구현하고 실증적으로 평가하며, 사용자 정의 설명기, 데이터셋 및 메트릭의 플러그 앤 플레이 통합을 가능하게 한다.
• 22개의 실제 및 합성 데이터셋과 19개의 메트릭(예: 정밀도, 희소성, 다양성 측정)을 포함한 표준화된 평가 프로토콜을 확립한다.
• 미래의 벤치마킹 및 GCE 방법 비교를 지원하기 위해 모듈형이고 재현 가능한 평가 프레임워크를 제안한다.
• 개인정보 보호 및 공정성 인식 설계 원칙을 논의하여 최근의 AI 규제와 부합한다.

실험 결과

연구 질문

• RQ1 다중 클래스 GNN 환경에서 최소이자 전역적으로 최적화된 반사적 설명은 무엇인가?
• RQ2 변경 유형 및 검색 전략과 같은 핵심 차원을 기준으로 GCE 방법은 어떻게 체계적으로 분류하고 비교할 수 있는가?
• RQ3 표준화된 벤치마크에서 평가했을 때 기존 GCE 방법의 강점과 한계는 무엇인가?
• RQ4 GCE 방법의 공정성과 편향은 어떻게 측정하고 완화할 수 있는가? 이는 신뢰할 수 있는 AI를 확보하기 위함이다.
• RQ5 시간적 그래프나 다양체와 같은 복잡한 그래프 구조로 GCE를 확장하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 이 검토는 다중 클래스 GNN를 위한 최초의 최소 반사적 설명의 공식화를 제시하며, 모든 클래스에 걸쳐 원본 그래프에서의 거리가 최소화되는 전역 최소 변형을 포함한다.
• 10개의 차원에 걸쳐 14개의 GCE 방법에 대한 종합적인 분류 체계를 수립하여 특정 용도에 적합한 방법의 선별과 비교를 더욱 명확히 한다.
• GRETEL을 통한 실증 평가 결과, 대부분의 방법이 높은 정밀도를 달성하지만, 희소성, 다양성 또는 의미론적 의미 있는 반사적 설명을 잘 생성하지 못하는 경향을 보였다.
• 현재의 메트릭들이 연구 간 일관성이 없음을 규명하여 표준화된 벤치마킹 프로토콜의 필요성을 강조한다.
• 저자들은 GCE에서 개인정보 보호와 공정성이 아직 충분히 탐색되지 않았으며, EU AI Act와 같은 규제 기준을 충족하도록 특별히 설계된 방법이 전혀 없다고 강조한다.