[논문 리뷰] Interpreting Neural Ranking Models using Grad-CAM

Jaekeol Choi, Jung-In Choi외 1명|arXiv (Cornell University)|2020. 05. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 9인용 수 10

한 줄 요약

이 논문은 Grad-CAM을 사용하여 신경 순위 매기기 모델(NRMs), 특히 MatchPyramid의 해석을 시도한다. 각 쿼리-문서 텀 쌍이 매칭 점수에 기여하는 방식을 시각화함으로써, 기울기 기반 기여도를 최종 합성층에 적용함으로써 효과적인 텀과 필터링된 텀을 식별하고, 스니펫의 관련성을 향상시켰다(사용자 연구에서 78.37% 선호). 또한 봉우도도 높고 기여도 합계도 높아, 실제 문서와 부정적 문서를 통계적으로 구분할 수 있었다.

ABSTRACT

Recently, applying deep neural networks in IR has become an important and timely topic. For instance, Neural Ranking Models(NRMs) have shown promising performance compared to the traditional ranking models. However, explaining the ranking results has become even more difficult with NRM due to the complex structure of neural networks. On the other hand, a great deal of research is under progress on Interpretable Machine Learning(IML), including Grad-CAM. Grad-CAM is an attribution method and it can visualize the input regions that contribute to the network's output. In this paper, we adopt Grad-CAM for interpreting the ranking results of NRM. By adopting Grad-CAM, we analyze how each query-document term pair contributes to the matching score for a given pair of query and document. The visualization results provide insights on why a certain document is relevant to the given query. Also, the results show that neural ranking model captures the subtle notion of relevance. Our interpretation method and visualization results can be used for snippet generation and user-query intent analysis.

연구 동기 및 목표

• 신경 순위 매기기 모델(NRMs)의 해석 불가능성 문제를 해결하기 위해, 이는 복잡하고 일반적으로 블랙박스로 간주되기 때문이다.
• 컴퓨터 비전 분야에서 검증된 기여도 방법인 Grad-CAM을 적응시켜, 모델 내부에서 직접적인 의사결정 해석을 가능하게 하기 위해이다.
• 특정 문서가 높은 순위를 차지하는 이유에 대한 실질적인 통찰을 제공함으로써, 스니펫 생성 및 쿼리 의도 분석과 같은 애플리케이션을 지원하기 위함이다.
• 실제 문서가 부정적 문서와 비교해 Grad-CAM 활성화 패턴이 뚜렷하게 다름을 통계적으로 검증하기 위함이다.

제안 방법

• 기울기 기반 기여도 방법인 Grad-CAM을 신경 순위 매기기 모델에 적응시키기 위해, 최종 순위 점수를 타겟 활성화로 사용한다.
• 최종 합성층의 특징 맵으로부터 최종 순위 점수에 대한 기울기의 전역 평균 풀링을 통해 중요도 가중치 αₖ를 계산한다.
• 각 (쿼리 텀 i, 문서 텀 j) 쌍이 매칭 점수에 기여하는 정도를 정량화하는 로컬라이제이션 맵 L ∈ ℝ^{u×v}를 생성한다.
• 로컬라이제이션 맵 L을 사용하여 각 문서의 효과적인 텀(기여도가 높은 텀)과 필터링된 텀(기여도가 낮은 텀)을 식별하여 해석 가능성을 높인다.
• 로컬라이제이션 맵을 활용해 문서에서 고활성 스팬을 선택하여 쿼리 관련 스니펫을 생성한다.
• 봉우도(Kurt(L))와 기여도 합계(∑∑Lᵢⱼ)를 사용한 통계 분석을 통해 실제 문서와 부정적 문서를 비교한다.

실험 결과

연구 질문

• RQ1 주어진 쿼리에 대해 문서의 어떤 구성 요소가 순위 점수에 가장 큰 기여를 하는가?
• RQ2 신경 순위 매기기 모델에서 실제 문서의 활성화 패턴은 부정적 문서와 어떻게 다를까?
• RQ3 Grad-CAM 기반 기여도는 자동 생성된 스니펫의 관련성을 향상시킬 수 있는가?
• RQ4 Grad-CAM은 '예방'이 아닌 '감염'에 초점을 맞춘 등 미세한 쿼리 의도를 어느 정도 드러낼 수 있는가?

주요 결과

• 78.37%의 평가자가 기존 방법보다 Grad-CAM을 사용해 생성한 스니펫을 선호하여 관련성이 더 높음을 시사한다.
• 실제 문서는 부정적 문서보다 봉우도(Kurt(L))와 기여도 합계(∑∑Lᵢⱼ)가 유의미하게 높았다(p < 0.0001).
• 이 방법은 '감염'과 '전파'와 같은 효과적인 텀과 '예방'과 같은 필터링된 텀을 성공적으로 식별하여 미묘한 쿼리 의도를 반영했다.
• 쿼리 '건성 모발에 좋은 오일은 무엇인가요?'에 대해, 모델은 '향기'와 '아로마테라피'보다 '두피'와 '샌들우드'를 우선시하는 데 성공했다.
• 로컬라이제이션 맵를 통해 텀 수준 기여도의 정성적 분석이 가능했으며, 이는 모델이 어휘적 일치를 넘어서 의미적 관련성을 포착하고 있음을 보여주었다.
• 활성화 패턴의 통계적 차이를 통해 실제 문서가 더 집중적이고 영향력 있는 텀 상호작용을 가짐을 확인할 수 있었다.