[논문 리뷰] Interpretable Learning-to-Rank with Generalized Additive Models

Honglei Zhuang, Xuanhui Wang외 8명|arXiv (Cornell University)|2020. 05. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 56인용 수 5

한 줄 요약

이 논문은 신경망을 사용하여 항목 수준 및 목록 수준의 특징을 가산 부분 모델로 모델링하는 새로운 내재적 해석 가능한 랭킹 학습 프레임워크인 Neural Ranking Generalized Additive Models (RankGAMs)를 소개한다. 이 방법은 벤치마크 데이터셋에서 최고 성능을 달성하면서도 완전한 해석 가능성을 유지하며, 정확도 손실을 최소화하면서도 복잡한 신경 부분 모델을 조밀한 조각별 선형 함수로 정제함으로써 추론 효율성을 향상시킨다.

ABSTRACT

Interpretability of learning-to-rank models is a crucial yet relatively under-examined research area. Recent progress on interpretable ranking models largely focuses on generating post-hoc explanations for existing black-box ranking models, whereas the alternative option of building an intrinsically interpretable ranking model with transparent and self-explainable structure remains unexplored. Developing fully-understandable ranking models is necessary in some scenarios (e.g., due to legal or policy constraints) where post-hoc methods cannot provide sufficiently accurate explanations. In this paper, we lay the groundwork for intrinsically interpretable learning-to-rank by introducing generalized additive models (GAMs) into ranking tasks. Generalized additive models (GAMs) are intrinsically interpretable machine learning models and have been extensively studied on regression and classification tasks. We study how to extend GAMs into ranking models which can handle both item-level and list-level features and propose a novel formulation of ranking GAMs. To instantiate ranking GAMs, we employ neural networks instead of traditional splines or regression trees. We also show that our neural ranking GAMs can be distilled into a set of simple and compact piece-wise linear functions that are much more efficient to evaluate with little accuracy loss. We conduct experiments on three data sets and show that our proposed neural ranking GAMs can achieve significantly better performance than other traditional GAM baselines while maintaining similar interpretability.

연구 동기 및 목표

• 후행 해석 방법의 한계를 해결하기 위해 투명하고 자가 설명 가능한 내재적 해석 가능한 랭킹 학습 모델을 개발하는 것.
• 일반화된 가산 모델(GAMs)을 항목 수준 및 목록 수준의 특징을 모두 처리할 수 있도록 랭킹 작업에 확장하는 것.
• 정확도 손실 없이 복잡한 신경 부분 모델을 조밀한 조각별 선형 함수로 정제함으로써 모델 효율성을 향상시키는 것.
• 특히 고위험 응용 분야에서 해석 가능성과 높은 성능이 동시에 달성될 수 있음을 입증하는 것.
• 해석 가능한 모델이 블랙박스 딥 뉴럴 네트워크 모델의 성능 향상에 어떻게 기여할 수 있는지 탐색하는 것.

제안 방법

• 항목 수준 특징과 목록 수준의 맥락 특징을 가산 부분 모델을 통해 조합하는 새로운 랭킹 GAMs 정식화를 제안한다.
• 개별 특징과 랭킹 점수 사이의 비선형 관계를 포착하기 위해 피드포워드 신경망을 부분 모델로 사용한다.
• 학습된 신경 부분 모델을 단순하고 효율적이며 해석 가능한 조각별 선형 함수로 변환하기 위해 지식 정제를 적용한다.
• 기존 LTR 메트릭(예: NDCG)을 최적화하기 위한 랭킹 전용 학습 목표를 사용한다.
• 목록 수준의 특징이 부분 모델의 가중치를 조절할 수 있도록 함으로써 맥락 기반 특징 중요도를 지원한다.
• 확률적 경사 하강법을 사용해 전체 모델을 엔드 투 엔드로 훈련하며, 부분 모델 출력을 합산하여 최종 랭킹 점수를 도출한다.

실험 결과

연구 질문

• RQ1 일반화된 가산 모델은 항목 수준 및 목록 수준의 특징을 모두 포함하는 랭킹 작업에 효과적으로 적용될 수 있는가?
• RQ2 신경망은 GAM 기반 랭킹 프레임워크에서 민첩하면서도 해석 가능한 부분 모델로 기능할 수 있는가?
• RQ3 신경 부분 모델에서 조각별 선형 함수로의 지식 정제가 성능을 유지하면서 추론 속도를 향상시키는가?
• RQ4 내재적 해석 가능한 모델은 전통적인 GAM 기반 베이스라인을 뛰어넘는 랭킹 성능를 달성하면서도 투명성을 유지할 수 있는가?
• RQ5 해석 가능한 모델의 통찰력이 블랙박스 딥 뉴럴 네트워크 모델의 랭킹 작업 성능 향상에 어떻게 기여할 수 있는가?

주요 결과

• Neural RankGAMs는 YAHOO 데이터셋에서 NDCG@1이 4.5% 향상된 바탕으로, 세 가지 벤치마크 데이터셋에서 기존 GAM 기반 베이스라인보다 유의미하게 높은 NDCG 점수를 달성한다.
• 정제 과정을 통해 추론 시간이 최대 90% 감소—YAHOO 데이터셋에서 47ms에서 3ms로 줄어들며, 거의 동일한 성능 유지.
• WEB30K 데이터셋에서 정제된 모델은 NDCG@10 44.15를 기록하여 원본 모델의 45.09와 매우 유사한 성능를 보이며, 정제 후 정확도 손실가 최소화됨.
• 부분 모델의 중간 크기(예: (16,8) 은닉 차원)에서 성능가 포화 상태에 도달함을 확인하여, 높은 복잡도가 불필요함을 시사.
• 딥 피드포워드 네트워크와 Neural RankGAM 부분 모델 출력을 융합한 하이브리드 모델은 WEB30K에서 NDCG@10 48.21을 달성하여 단독 DNN보다 0.9점 높은 성능 기록.
• 제거 실험 결과, 목록 수준의 맥락 특징이 랭킹 성능 향상에 크게 기여함을 확인하여, 모델이 맥락 정보를 효과적으로 활용할 수 있음을 입증.