[논문 리뷰] Multi-Layer Attention-Based Explainability via Transformers for Tabular Data

Andrea Treviño Gavito, Diego Klabjan외 1명|arXiv (Cornell University)|2023. 02. 28.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 트랜스포머를 사용하여 테이블 형 데이터에 대한 다층 주의 기반 설명 가능성 방법을 제안하며, 모든 레이어의 주의 행렬을 그래프 구조로 매핑하여 영향력 있는 특성 그룹을 식별한다. 이 방법은 단일 레이어 주의를 넘어서 특성의 집합적 중요도를 포착함으로써 설명 일관성과 다양한 데이터셋 간 일치도에서 기준 방법을 능가하는 해석 가능성 향상을 달성한다.

ABSTRACT

We propose a graph-oriented attention-based explainability method for tabular data. Tasks involving tabular data have been solved mostly using traditional tree-based machine learning models which have the challenges of feature selection and engineering. With that in mind, we consider a transformer architecture for tabular data, which is amenable to explainability, and present a novel way to leverage self-attention mechanism to provide explanations by taking into account the attention matrices of all heads and layers as a whole. The matrices are mapped to a graph structure where groups of features correspond to nodes and attention values to arcs. By finding the maximum probability paths in the graph, we identify groups of features providing larger contributions to explain the model's predictions. To assess the quality of multi-layer attention-based explanations, we compare them with popular attention-, gradient-, and perturbation-based explanability methods.

연구 동기 및 목표

• 테이블 형 데이터에 대한 트랜스포머 모델에서 종합적이고 다층적인 설명 가능성의 부족을 해결하기 위해.
• 특히 고차원 테이블 형 데이터셋에서 개별 특성보다 의미 있는 특성 그룹을 식별하여 모델의 해석 가능성 향상시키기 위해.
• 모든 트랜스포머 레이어의 주의를 통합하는 그래프 기반 방법을 개발하여 모델 예측에 가장 영향을 미치는 개념을 식별하기 위해.
• 일관성, 안정성, 데이터셋 간 일치도 측면에서 기존의 주의 기반, 기울기 기반, 펌프리션 기반 설명 가능성 기법들과 제안된 방법을 비교하기 위해.
• 다중 랜덤 실행과 쌍별 일치도 지표를 사용하여 설명의 안정성과 신뢰성 평가하기 위해.

제안 방법

• 논문은 테이블 형 데이터에 다중 헤드 트랜스포머를 훈련한 후, 모든 레이어의 주의 패턴을 유지하기 위해 단일 헤드, 다중 레이어 트랜스포머로 지식 정렬을 수행한다.
• 모든 레이어의 주의 행렬을 집계하고 그래프로 변환하며, 특성 그룹은 노드로, 주의 값은 가중치가 부여된 간선으로 표현된다.
• 그래프를 통해 최대 확률 경로를 계산하여 모델 예측에 기여하는 가장 영향력 있는 특성 그룹을 식별한다.
• 학생-선생 모델링 파라다임을 사용하여 주의 정보를 유지하면서도 효율적인 그래프 기반 설명 추출을 가능하게 한다.
• 설명은 주로 쌍별 일치도 지표를 사용하여 평가되며, 이는 샘플 간 상위 1개 및 상위 2개의 개념 그룹 일치도를 포함한다.
• 안정성은 동일한 상위 개념 그룹을 일치시키는 모델 실행 비율을 측정하여 평가된다.

실험 결과

연구 질문

• RQ1 모든 트랜스포머 레이어의 주의를 통합함으로써 단일 레이어 주의에 비해 설명 품질이 어떻게 향상되는가?
• RQ2 다층 주의 기반 설명이 기울기 기반 및 펌프리션 기반 방법들과 비교해 키워드 특성 그룹을 식별하는 데 얼마나 일치하는가?
• RQ3 여러 랜덤 훈련 실행 간 설명은 얼마나 안정적인가? 기존 방법들과 비교해 제안된 방법이 변동성을 줄이는가?
• RQ4 주의 행렬에 기반한 그래프 기반 경로 분석이 의미적으로 유의미하고 모델 결정을 예측하는 데 효과적인 개념 그룹을 효과적으로 식별할 수 있는가?
• RQ5 특히 고차원 테이블 형 데이터에서 개별 특성보다 특성 그룹에 집중함으로써 설명 가능성은 어떻게 향상되는가?

주요 결과

• 제안된 다층 주의(MLA) 방법은 상위 2개 개념 그룹을 고려할 때 다른 방법들과 평균 75% 이상의 쌍별 일치도를 달성하여 높은 일관성을 보였다.
• MLA는 주의 기반 방법(SA 및 SH)과의 일치도가 로컬 설명 방법(LL)과 비교해 더 높았으며, 주의 메커니즘과의 보다 우수한 일치를 보였다.
• 상위 2개 개념 그룹에 대해, MLA는 모든 쌍별 비교에서 92%의 모드 일치도를 기록하여 높은 강건성과 안정성을 입증했다.
• 안정성 분석 결과, 특히 CT 및 RW 데이터셋에서 MLA는 로컬 설명(LL) 방법보다 실행 간 일치도의 변동성이 더 낮았다.
• 기울기 기반 및 펌프리션 기반 방법(SA 및 SH)은 상호 간 유사도가 높았고, 주의 기반 방법과는 다를 바 있어, 특성 선택에서 공통된 편향을 가짐을 시사했다.
• 특성 그룹 간 상관관계의 영향을 효과적으로 완화하기 위해 다수의 상위 그룹을 식별함으로써, 단일 특성 그룹에 대한 의존도를 줄였다.