[논문 리뷰] Faithfully Explaining Rankings in a News Recommender System

Maartje ter Hoeve, Anne Schuth외 2명|arXiv (Cornell University)|2018. 05. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 13

한 줄 요약

이 논문은 뉴스 추천 시스템에서 생성된 랭킹에 대해 충실하고 인간이 이해할 수 있는 설명을 생성하는 리스트와이즈 해설기인 LISTEN을 제안한다. Q-LISTEN이라는 신경망을 통해 LISTEN의 설명 공간을 효율적으로 학습하고 재현하도록 훈련시키며, 실제 사용자 행동에서 모델이 생성한 설명이 인간이 작성한 것과 동일한 효과와 안전성을 보임을 입증한다.

ABSTRACT

There is an increasing demand for algorithms to explain their outcomes. So far, there is no method that explains the rankings produced by a ranking algorithm. To address this gap we propose LISTEN, a LISTwise ExplaiNer, to explain rankings produced by a ranking algorithm. To efficiently use LISTEN in production, we train a neural network to learn the underlying explanation space created by LISTEN; we call this model Q-LISTEN. We show that LISTEN produces faithful explanations and that Q-LISTEN is able to learn these explanations. Moreover, we show that LISTEN is safe to use in a real world environment: users of a news recommendation system do not behave significantly differently when they are exposed to explanations generated by LISTEN instead of manually generated explanations.

연구 동기 및 목표

• 뉴스 추천 시스템의 랭킹 알고리즘에서 생성된 랭킹을 설명하는 방법의 부족을 해결하기 위해.
• 리스트와이즈 랭킹의 배경이 되는 추론을 포괄하는 충실한 설명 방법을 개발하기 위해.
• LISTEN의 설명 공간을 학습하는 신경망(Q-LISTEN)을 훈련시켜 스케일러블한 구현을 가능하게 하기 위해.
• 실제 사용자 환경에서 모델이 생성한 설명의 안전성과 효과성을 평가하기 위해.

제안 방법

• LISTEN은 랭킹 모델의 출력 랭킹에 대해 자연어 설명을 생성하는 리스트와이즈 해설기이다.
• 입력 특성과 최종 랭킹 간의 관계를 분석함으로써, 배경이 되는 설명 공간을 학습한다.
• Q-LISTEN은 LISTEN의 설명 생성을 모방하도록 훈련된 신경망으로, 생산 환경에서 빠른 추론을 가능하게 한다.
• 설명과 랭킹 결과 간의 일치를 확보하기 위해, 미분 가능한 프레임워크를 사용해 종합적으로 설명 공간을 학습한다.
• 사용자 연구를 포함한 내재적 및 외재적 검증을 통해 설명의 충실도를 평가한다.

실험 결과

연구 질문

• RQ1 뉴스 추천 시스템에서 생성된 랭킹에 대해 모델이 충실한 설명을 생성할 수 있는가?
• RQ2 신경망(Q-LISTEN)이 LISTEN의 설명 공간을 효과적으로 학습하고 재현할 수 있는가?
• RQ3 사용자가 모델이 생성한 설명과 수작업으로 작성된 설명을 각각 접했을 때 행동에 유의미한 차이가 발생하는가?
• RQ4 해당 설명 방법은 실세계 시스템에 배포할 경우 부정적인 행동적 영향 없이 안전한가?

주요 결과

• LISTEN은 랭킹 결정의 배경이 되는 추론을 정확히 반영하는 충실한 설명을 생성한다.
• Q-LISTEN은 LISTEN의 설명 공간을 성공적으로 학습하여 높은 효율성으로 유사한 설명을 생성한다.
• 실제 뉴스 추천 시스템에서 사용자 행동은 LISTEN이 생성한 설명과 수작업으로 작성된 설명을 각각 접했을 때 유의미한 차이를 보이지 않는다.
• 사용자 행동에 유의미한 변화가 관찰되지 않아, 해당 방법은 실세계 시스템에 배포하는 데 안전하다.