[논문 리뷰] How does this interaction affect me? Interpretable attribution for feature interactions

Michael Tsang, Sirisha Rambhatla외 1명|arXiv (Cornell University)|2020. 06. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 54인용 수 34

한 줄 요약

Archipelago는 상호작용 인식적 속성화인 ArchAttribute와 상호작용 탐지인 ArchDetect를 제시하여 블랙박스 모델의 특징 간 상호작용에 대한 해석 가능하고 공리적으로 정의되며 확장 가능한 설명을 제공합니다. 이는 감정 분석과 이미지 분류에서 이전 방법들에 비해 더 우수한 해석 가능성을 보이며, 텍스트, 의학 영상, 광고/추천 전반에 걸친 시각화를 제공합니다.

ABSTRACT

Machine learning transparency calls for interpretable explanations of how inputs relate to predictions. Feature attribution is a way to analyze the impact of features on predictions. Feature interactions are the contextual dependence between features that jointly impact predictions. There are a number of methods that extract feature interactions in prediction models; however, the methods that assign attributions to interactions are either uninterpretable, model-specific, or non-axiomatic. We propose an interaction attribution and detection framework called Archipelago which addresses these problems and is also scalable in real-world settings. Our experiments on standard annotation labels indicate our approach provides significantly more interpretable explanations than comparable methods, which is important for analyzing the impact of interactions on predictions. We also provide accompanying visualizations of our approach that give new insights into deep neural networks.

연구 동기 및 목표

• 특징 간 상호작용이 예측에 어떤 영향을 주는지에 대한 해석 가능한 설명의 필요성을 동기부여한다.
• ArchAttribute를 모델-독립적이고 공리적(non-axiomatic)인 상호작용 인식 특징 속성으로 제안한다.
• ArchDetect를 도입하여 비배치된(Disjoint) 상호작용 집합과 고차 상호작용을 효율적으로 식별한다.
• Archipelago 기반의 설명이 감정 분석과 이미지 분류에서 베이스라인보다 해석 가능성이 더 높음을 실증적으로 보여준다.
• NLP, 의료 영상, 광고/추천 시나리오에서 상호작용을 시각화하는 시각화를 제공한다.

제안 방법

• 상호작용적으로 하나의 모델 출력에 영향을 미치는 특징들의 집합을 formalize하기 위해 비가법적(non-additive) 통계적 상호작용을 정의한다.
• f(x*_I + x'_-I) - f(x')를 통해 인터랙팅 피처 세트에 대한 예측 변화의 기여를 속성화하기 위해 ArchAttribute를 도입한다.
• 집합 속성 axioms를 제시하고 ArchAttribute가 피처 세트에 대한 완전성 및 다른 속성 공리를 만족하는지 증명한다.
• 이산 혼합 편도 도함수 해석을 사용하여 쌍별 상호작용 강도를 추정하고 쌍별 상호작용을 서로 배치된 고차 상호작용 집합으로 O(p^2) 효율로 합치는 ArchDetect를 개발한다.
• 텍스트와 이미지 도메인에서 ArchAttribute 속성화와 ArchDetect가 식별한 상호작용을 결합하여 Archipelago 설명을 시각화하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 모델-독립적이고 공리적인 방식으로 피처 상호작용에 예측을 속성화할 수 있는가?
• RQ2 임의의 순서의 상호작용을 효율적으로 감지하고 interpretable하며 서로 배치된 집합으로 합칠 수 있는가?
• RQ3 감정 분석 및 이미지 분류에서 Archipelago가 생성한 상호작용 속성화가 ground-truth 또는 주석 라벨과 일치하는가?
• RQ4 Archipelago의 시각화가 기존 방법보다 모델 동작에 대한 더 명확한 통찰을 제공하는가?

주요 결과

• ArchAttribute는 피처 상호작용에 대한 해석 가능하고 모델-독립적인 속성화를 제공하며, 새로운 Set Attribution 공리를 포함한 확장된 속성 공리 세트를 만족한다.
• ArchDetect는 O(p^2)에서 쌍별 상호작용을 효율적으로 감지하고 이를 서로 배치된 고차 상호작용 집합으로 합쳐 실용성을 향상시킨다.
• 감정 분석과 이미지 분류에서 Archipelago 기반 설명은 ground-truth 주석과의 상관관계가 여러 베이스라인보다 더 강하게 나타나며(SST에서 높은 상관계수, ImageNet/COCO 기반 평가에서 강한 세그먼트 AUC 등), 더 나은 성능을 보인다.
• Archipelago 시각화는 텍스트에서 지역적 및 장거리 상호작용을 모두 드러내고, 이미지에서 예측과 연결된 의미론적으로 중요한 영역(예: 흉부 X선의 “great vessels”)을 강조한다.
• IG, IH, STI, SI, SCD, SOC 등과 비교하면 ArchDetect가 합성 태스크에서 더 우수한 탐지 성능을 보이고 ArchAttribute가 속성화 태스크에서 베이스라인보다 우수하다.