[논문 리뷰] Layer-wise Relevance Propagation for Explainable Recommendations

Homanga Bharadhwaj|arXiv (Cornell University)|2018. 07. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 16인용 수 6

한 줄 요약

이 논문은 레이어별 중요도 전파(LRP)를 딥 컨volution 신경망(DCNN)-기반 추천 시스템에 통합하여 이미지 기반 추천에 대해 픽셀 수준의 설명을 생성하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 최종 예측 레이어에서 입력 픽셀로 중요도 점수를 역전파함으로써, 이 방법은 추천에 영향을 준 시각적으로 주목할 만한 특징을 식별하며, 아마존 제품 데이터셋에서 해석 가능성 향상과 효과적인 설명 생성을 입증한다.

ABSTRACT

In this paper, we tackle the problem of explanations in a deep-learning based model for recommendations by leveraging the technique of layer-wise relevance propagation. We use a Deep Convolutional Neural Network to extract relevant features from the input images before identifying similarity between the images in feature space. Relationships between the images are identified by the model and layer-wise relevance propagation is used to infer pixel-level details of the images that may have significantly informed the model's choice. We evaluate our method on an Amazon products dataset and demonstrate the efficacy of our approach.

연구 동기 및 목표

• 딥 러닝 기반 추천 시스템, 특히 시각적 항목에 대해 해석 가능성의 부족을 해결하기 위해.
• 레이어별 중요도 전파(LRP)를 사용하여 사용자별로 맞춤화된 픽셀 수준의 설명을 생성하기 위해.
• 특징과 설명을 동시에 학습하는 엔드 투 엔드 학습 가능한 DCNN 프레임워크에 LRP를 통합하기 위해.
• LRP가 추천 결정을 뒷받침하는 주요 이미지 영역을 식별하는 데 효과적인지 평가하기 위해.
• 설명 피드백을 활용하여 모델 학습과 예측 정확도를 향상시킬 수 있는 잠재력을 탐색하기 위해.

제안 방법

• 사전 학습된 가중치를 사용하지 않고, 제품 이미지에서 K차원 특징 벡터를 추출하기 위해 엔드 투 엔드로 훈련된 VGG-16 기반 DCNN을 사용한다.
• 사용자별로 맞춤화된 $ \mathbf{M}^{(u)} $를 사용하여 특징 벡터 간의 유사도를 계산하는 개인화된 거리 메트릭 $ d_u(\mathbf{x}_i, \mathbf{x}_j) = (\mathbf{x}_i - \mathbf{x}_j)\mathbf{M}^{(u)}(\mathbf{x}_i - \mathbf{x}_j)^T $를 적용한다.
• 관계성 확률 $ P_u(r_{ij} \in R) $ 은 거리의 시프트된 시그모이드 함수로 모델링되며, $ \frac{1}{1 + e^{d_u(\mathbf{x}_i, \mathbf{x}_j) - q}} $ 로 표현되며, $ q $ 는 학습 중에 튜닝된다.
• 레이어별 중요도 전파를 적용하여 최종 예측 점수를 네트워크를 거슬러 내려가며 중요도 점수를 입력 픽셀에 재할당한다.
• 설명은 추천 결정에 가장 영향을 준 픽셀을 강조하는 히트맵으로 시각화된다.
• 미래의 학습 루프로써, LRP를 통해 추출된 중요 픽셀을 사용해 합성곱 레이어의 가중치를 재조정함으로써, 향상된 특징 추출을 위한 메타학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이어별 중요도 전파가 이미지 기반 추천에서 가장 영향력 있는 픽셀을 효과적으로 식별할 수 있는가?
• RQ2 엔드 투 엔드 DCNN에 LRP를 통합함으로써 추천 결정의 해석 가능성은 어떻게 향상되는가?
• RQ3 생성된 설명은 인간이 인식하는 관련 시각적 특징과 어느 정도 상관이 있는가?
• RQ4 LRP로부터 도출된 중요도 피드백을 활용하여 모델의 특징 학습 과정을 개선하고 예측 정확도를 높일 수 있는가?
• RQ5 거리 메트릭의 개인화가 설명의 품질과 관련성에 어떤 영향을 미치는가?

주요 결과

• 손실 기반 설명 평가를 통해 검증된 바와 같이, 이 방법은 추천 결정에 가장 관련성이 높은 주목할 만한 픽셀을 성공적으로 식별한다.
• LRP를 통해 생성된 설명은 추천된 항목과 일치하는 제품 유형, 색상, 형태와 같은 시각적 특징을 효과적으로 강조한다.
• LRP의 히트맵은 추천 시 보다 의미 있는 영역, 예를 들어 골프장갑의 얼굴이나 셔츠의 로고에 초점을 맞추고 있음을 보여준다.
• 이 접근법은 LRP가 추천 작업에 효과적으로 적용될 수 있으며, 직관적이고 시각적으로 해석 가능한 설명을 생성할 수 있음을 입증한다.
• 초기 결과는 설명 피드백을 학습에 통합함으로써 모델의 강건성이 향상될 수 있음을 시사하지만, 이는 추가 검증이 필요하다.
• 모델은 아마존 제품 데이터셋에서 경쟁적인 성능을 달성하였으며, 관련 픽셀을 마스킹했을 때 정확도가著하게 감소하는 펌터베이션 분석을 통해 설명 품질이 확인되었다.