[논문 리뷰] Posthoc Interpretability of Learning to Rank Models using Secondary Training Data

Jaspreet Singh, Avishek Anand|arXiv (Cornell University)|2018. 06. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 6인용 수 34

한 줄 요약

이 논문은 훈련된 러닝-투-랭크(LTR) 모델을 후행적으로 해석하기 위한 후행적이고 모델에 종속되지 않는 방법을 제안한다. 이 방법은 블랙박스 랭커의 예측에서 생성된 보조 훈련 데이터를 바탕으로 해석 가능한 트리 기반 모델을 훈련시킨다. 오직 해석 가능한 콘텐츠 기반 특징만을 사용함으로써, 특히 리스트와이즈 학습에서 원본 모델과 높은 상관관계를 달성하며, 이는 충분한 보조 데이터가 있을 경우 원본 특징의 부분집합이라도 충실도 높은 전역적 설명이 가능하다는 것을 보여준다.

ABSTRACT

Predictive models are omnipresent in automated and assisted decision making scenarios. But for the most part they are used as black boxes which output a prediction without understanding partially or even completely how different features influence the model prediction avoiding algorithmic transparency. Rankings are ordering over items encoding implicit comparisons typically learned using a family of features using learning-to-rank models. In this paper we focus on how best we can understand the decisions made by a ranker in a post-hoc model agnostic manner. We operate on the notion of interpretability based on explainability of rankings over an interpretable feature space. Furthermore we train a tree based model (inherently interpretable) using labels from the ranker, called secondary training data to provide explanations. Consequently, we attempt to study how well does a subset of features, potentially interpretable, explain the full model under different training sizes and algorithms. We do experiments on the learning to rank datasets with 30k queries and report results that serve show in certain settings we can learn a faithful interpretable ranker.

연구 동기 및 목표

• 훈련 데이터에 접근할 수 없더라도 블랙박스 러닝-투-랭크(LTR) 모델의 후행적 해석 가능성을 제공하기 위해.
• 복잡한 사전 훈련된 LTR 모델의 랭킹 행동을 충실하게 재현할 수 있는 간단한 해석 가능한 모델이 가능한지 조사하기 위해.
• 훈련 데이터 크기, 학습 알고리즘 유형(pairwise 대비 list형식), 특징 부분집합 선택이 해석 가능성 충실도에 미치는 영향을 평가하기 위해.
• 콘텐츠 기반 특징을 사용하여 인간이 이해할 수 있는 실질적인 설명을 랭킹 결정에 제공하기 위해.

제안 방법

• 대규모 테스트 쿼리-문서 쌍 세트에서 사전 훈련된 블랙박스 LTR 모델의 예측(랭킹)을 수집하여 보조 훈련 데이터를 생성한다.
• 해석 가능한 특징(예: 용어 존재 여부, 메타데이터 등)의 부분집합만을 사용하여 이 보조 데이터에 기반해 새로운 해석 가능한 트리 기반 모델(예: 기울기 부스팅 트리)을 훈련시킨다.
• 기존 모델의 랭킹을 얼마나 잘 재현하는지 측정하기 위해 표준 LTR 평가 지표(NDCG, Precision@10, 켄달의 타우(τ), τ@10)를 사용한다.
• 성능 비교를 위해 해석 가능한 모델을 pairwise 및 listwise 학습 목표 함수를 사용하여 훈련시킨다.
• 보조 훈련 세트의 크기를 체계적으로 변화시켜 데이터 효율성과 일반화 능력을 연구한다.
• 다양한 분할과 특징 세트에서 원본 모델의 랭킹과 해석 가능한 모델의 랭킹 간 상관관계를 측정하여 해석 가능성 충실도를 평가한다.

실험 결과

연구 질문

• RQ1 RQ I: 보조 훈련 데이터의 양을 늘일수록 기반 랭커에 대한 해석 가능한 모델의 충실도가 향상되는가?
• RQ2 RQ II: 기반 랭커에 사용된 다른 학습 알고리즘(pairwise 대비 listwise)이 해석 가능한 모델의 성능에 어떤 영향을 미치는가?
• RQ3 RQ III: 일부 해석 가능한 특징만을 사용할 때, 전역적 해석 가능한 모델이 원본 기반 랭커의 행동을 얼마나 충실하게 모방할 수 있는가?

주요 결과

• 15,000개의 쿼리로 구성된 데이터에서, 리스트와이즈 기반 랭커에서 유래한 보조 데이터를 사용해 훈련한 해석 가능한 모델는 켄달의 타우(τ)가 0.49이고 τ@10이 0.74를 기록하여, 데이터 증가에 따라 점차 향상되는 중간 정도의 상관관계를 보였다.
• Pairwise로 훈련된 기반 모델의 경우, 작은 보조 데이터(예: 400개의 쿼리)로도 높은 충실도를 달성했으며, τ@10 = 0.33 및 Precision@10 = 0.5535를 기록했다.
• Pairwise 기반 랭커 출력을 기반으로 훈련된 해석 가능한 모델는 원본 모델과 가장 높은 상관관계를 보였으며, 특히 보조 예제 수가 적을 경우 두드러졌다.
• 기반 랭커의 리스트와이즈 학습은 훈련 데이터 크기가 증가함에 따라 τ 및 τ@10가 더욱 일관되게 향상되었으며, 이는 해석 가능한 모델의 일반화 능력 향상에 기여했다.
• 비록 오직 해석 가능한 콘텐츠 기반 특징만을 사용했음에도 불구하고, 기반 모델이 pairwise로 훈련된 경우 해석 가능한 모델은 기반 모델과 거의 동일한 Precision을 달성했다.
• 결과적으로 콘텐츠 기반 특징만으로는 대규모 보조 데이터셋이 있더라도 복잡한 LTR 모델을 충실하게 재현하는 데 어려움이 있음을 시사하며, 해석 가능한 특징에만 의존하는 것이 도전 과제임을 강조한다.