[논문 리뷰] Feature Importance Estimation with Self-Attention Networks

Blaž Škrlj, Sašo Džeroski외 2명|arXiv (Cornell University)|2020. 02. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 27

한 줄 요약

이 논문은 주어진 특성과 상호작용을 직접 추정하기 위해 자기주의 주의 메커니즘(self-attention mechanisms)을 활용한 자기주의 네트워크(Self-Attention Networks, SANs)를 제안한다. SANs는 특히 고차원 생물학적 데이터에서 전통적인 방법들인 ReliefF 및 Random Forest 기반 순위 매기기와 경쟁 가능한 성능을 보이며, 단순한 이변량 관계를 넘어서는 복잡한 특성 간 상호작용을 드러낸다.

ABSTRACT

Black-box neural network models are widely used in industry and science, yet are hard to understand and interpret. Recently, the attention mechanism was introduced, offering insights into the inner workings of neural language models. This paper explores the use of attention-based neural networks mechanism for estimating feature importance, as means for explaining the models learned from propositional (tabular) data. Feature importance estimates, assessed by the proposed Self-Attention Network (SAN) architecture, are compared with the established ReliefF, Mutual Information and Random Forest-based estimates, which are widely used in practice for model interpretation. For the first time we conduct scale-free comparisons of feature importance estimates across algorithms on ten real and synthetic data sets to study the similarities and differences of the resulting feature importance estimates, showing that SANs identify similar high-ranked features as the other methods. We demonstrate that SANs identify feature interactions which in some cases yield better predictive performance than the baselines, suggesting that attention extends beyond interactions of just a few key features and detects larger feature subsets relevant for the considered learning task.

연구 동기 및 목표

• 주어진 특성과 상호작용을 직접 추정하기 위해 자기주의 주의 메커니즘(self-attention mechanisms)을 활용한 신경망 아키텍처를 개발한다.
• 예측 성능 및 순위 품질 측면에서 ReliefF, 상호정보량(Mutual Information), Genie3와 같은 기존 특성 순위 매기기 방법들과 비교하여 SANs의 성능을 평가한다.
• 자기주의 주의 메커니즘이 기존 방법이 포착하지 못하는 고차원 특성 간 상호작용을 탐지할 수 있는지 조사한다.
• 여러 알고리즘과 데이터셋 간 특성 중요도 추정치를 척도에 구애받지 않고 비교한다.
• SANs의 이론적 성질, 특히 공간 복잡도와 시간 복잡도를 분석한다.

제안 방법

• 표현형 데이터를 대상으로 한 새로운 자기주의 네트워크(SAN) 아키텍처를 제안하며, 여기서 주의 가중치는 학습된 주의 행렬에서 유도된다.
• 특성 중요도를 추출하기 위해 세 가지 별도의 방법을 사용한다: 전역 주의, 행 단위 소프트맥스 주의, 주의 행렬의 대각선 주의.
• 주의 기반 특성 중요도 점수를 활용해 특성을 순위 매기고, 잘라낸 특성 부분집합을 사용해 로지스틱 회귀를 통해 예측 성능을 평가한다.
• 다양한 알고리즘 간 특성 중요도 추정치 유사도를 정량적으로 비교하기 위해 FUJI 점수를 적용한다.
• 표준 분류기 헤드를 사용해 예측을 수행하고 주의 메커니즘을 해석 가능성 도구로 활용하며, 10개의 실제 및 합성 데이터셋에서 SANs를 엔드 투 엔드로 훈련한다.
• 다양한 임계값을 통해 하류 분류기 성능(F1 점수)을 기반으로 순위 품질을 평가한다.

실험 결과

연구 질문

• RQ1 신경망 내 자기주의 주의 메커니즘이 표현형(표현형) 데이터에서 기존 방법과 유사한 수준의 특성 중요도 추정에 효과적으로 기여할 수 있는가?
• RQ2 SANs의 특성 중요도 추정치는 ReliefF, 상호정보량, Genie3와 비교해 얼마나 유사하고 성능이 우수한가?
• RQ3 SANs는 이변량 또는 단순한 특성 부분집합을 넘어서 예측 성능 향상에 기여하는 고차원 특성 간 상호작용을 탐지할 수 있는가?
• RQ4 데이터 크기와 차원 수가 SANs의 특성 중요도 추정 성능에 어떤 영향을 미치는가?
• RQ5 SANs의 이론적 복잡도와 계산 비용은 기존 특성 선택 방법과 비교해 어떻게 다른가?

주요 결과

• SANs는 로지스틱 회귀 작업에서 경쟁 가능한 예측 성능을 달성하였으며, 고차원 생물학적 데이터셋인 dlbcl에서 모든 기준선보다 15퍼센트 이상 뛰어난 성능을 보였다.
• biodeg-p2-discrete와 같은 작은 데이터셋에서는 SANs의 성능이 열 劣하므로, 깊은 주의 메커니즘을 훈련할 때 데이터 효율성에 한계가 있음을 시사한다.
• SANs가 상위 순위로 선정한 특성들은 ReliefF 및 Genie3와 강한 일치를 보이며, 다양한 방법 간 일관성을 확인한다.
• SANs는 성능 향상에 기여하는 복잡한 특성 간 상호작용을 탐지하며, 이는 주의 메커니즘이 종합적이고 고차원의 종속성을 포착할 수 있음을 시사한다.
• FUJI 점수는 SANs와 Genie3/ReliefF 간에 유의미한 유사성을 보이며, 주의 기반 중요도 계산 방식이 상호정보량과 유사하게 종합적인(비-미시적) 특성 중요도를 추정할 수 있음을 나타낸다.
• SANs는 특히 p53 및 유전자와 같은 생물학 분야의 고차원 데이터에서 뛰어난 성능을 보이며, 더 크고 더 관련성이 높은 특성 부분집합을 식별한다.