[논문 리뷰] Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection

Michael Tsang, Dehua Cheng외 4명|arXiv (Cornell University)|2020. 06. 19.

Explainable Artificial Intelligence (XAI)인용 수 16

한 줄 요약

이 논문은 신경 상호작용 검출(Neural Interaction Detection)과 LIME를 통해 블랙박스 추천 시스템에서 글로벌 특성 상호작용을 탐지하고, 이를 표준 모델에 암시적으로 코딩함으로써 블랙박스 추천 시스템을 해석하고 향상시키는 GLIDER 방법을 제안한다. 이 방법은 예측 정확도를 크게 향상시키며, 추천, 텍스트, 이미지, DNA 모델링 작업 전반에 걸쳐 해석 가능하고 실천 가능한 통찰을 제공한다.

ABSTRACT

Recommendation is a prevalent application of machine learning that affects many users; therefore, it is important for recommender models to be accurate and interpretable. In this work, we propose a method to both interpret and augment the predictions of black-box recommender systems. In particular, we propose to interpret feature interactions from a source recommender model and explicitly encode these interactions in a target recommender model, where both source and target models are black-boxes. By not assuming the structure of the recommender system, our approach can be used in general settings. In our experiments, we focus on a prominent use of machine learning recommendation: ad-click prediction. We found that our interaction interpretations are both informative and predictive, e.g., significantly outperforming existing recommender models. What's more, the same approach to interpret interactions can provide new insights into domains even beyond recommendation, such as text and image classification.

연구 동기 및 목표

• 실제 응용 분야인 광고 클릭 예측과 같은 복잡한 블랙박스 추천 시스템에서의 해석 가능성 부족 문제를 해결하기 위해.
• 모델 아키텍처에 대한 액세스 없이도 의미 있는 특성 상호작용을 탐지하고 코딩할 수 있는 일반 목적의 방법을 개발하기 위해.
• 목표 모델에 검출된 글로벌 상호작용을 암시적 특성으로 활용함으로써 추천 정확도를 향상시키기 위해.
• 해당 상호작용의 해석 가능성과 유용성을 추천을 넘어서 NLP, 컴퓨터 비전, 유전체학 등 다양한 분야에서 검증하기 위해.

제안 방법

• 소스 블랙박스 모델 내 특성 상호작용의 국소적, 인스턴스 수준의 해석을 생성하기 위해 데이터 인스턴스 편향을 사용하는 LIME를 활용한다.
• 다양한 데이터 인스턴스를 통해 일관되게 나타나는 상호작용을 식별하기 위해 신경 상호작용 검출(Neural Interaction Detection, NID)을 적용한다.
• 데이터셋 전반에 걸쳐 반복되는 상호작용 패턴을 집계하여 안정적이고 글로벌하게 관련 있는 특성 상호작용을 추출한다.
• 검출된 글로벌 상호작용을 희소 특성 교차를 통해 목표 추천 모델에 인코딩함으로써 자동 특성 공학을 효과적으로 수행한다.
• 두 단계 프레임워크를 활용한다: (1) 편향과 국소적 설명을 통한 상호작용 탐지, (2) 새로운 모델에서의 글로벌 집계 및 인코딩.
• 유사한 상호작용을 통합하고 해석의 중복을 줄이기 위해 일관성 임계값(예: 겹침 계수 ≥0.5)을 사용한다.

실험 결과

연구 질문

• RQ1 블랙박스 추천 시스템이 학습한 특성 상호작용이 글로벌하고 안정적인 방식으로 의미 있게 해석되고 추출될 수 있는가?
• RQ2 검출된 글로벌 상호작용이 목표 추천 모델의 예측 성능을 향상시킬 수 있는가?
• RQ3 이 방법이 생성한 해석은 텍스트, 이미지, DNA 모델링과 같은 다양한 도메인에서 정보적이고 의미 있는가?
• RQ4 기본 모델인 LIME와 비교할 때, 검출된 상호작용는 해석 가능성과 예측 능력 측면에서 어떻게 다른가?

주요 결과

• GLIDER가 생성한 상호작용 해석은 광고 클릭 예측에서 기존 추천 모델을 크게 능가했으며, 상호작용 탐지 모듈인 MADEX는 Criteo 데이터셋에서 1.7±0.1 AUC를 기록했다.
• 검출된 글로벌 상호작용을 암시적으로 인코딩함으로써 예측 성능이 향상되었으며, 후속 모델의 오차율이 감소했다.
• 이미지 분류 과제에서 GLIDER는 LIME의 주 효과에서 놓친 중요한 보조 영역(예: 상어의 비늘)을 탐지하여 더 뛰어난 해석 가능성을 입증했다.
• 텍스트 분류 과제에서 GLIDER는 "never, fails" 및 "absolutely, no"와 같은 의미적으로 유의미한 단어 상호작용을 식별했으며, 개별 특성 기여도보다 더 정보적인 결과를 제공했다.
• 유전자 모델링에서 GLIDER는 표준 "CACGTG" 염기 상호작용을 테스트 세트 인스턴스의 97.3% 일관성으로 탐지하여 생물학적 관련성을 확인했다.
• 이 방법은 추천을 넘어서 그래프, 이미지, DNA 모델링 과제 전반에 걸쳐 일반화가 잘 되었으며, 일관되고 의미 있는 상호작용 탐지 능력을 보였다.