[논문 리뷰] Interpretation of multi-label classification models using shapley values

Shikun Chen|arXiv (Cornell University)|2021. 04. 21.

Text and Document Classification Technologies참고 문헌 17인용 수 14

한 줄 요약

이 논문은 다중 레이블 분류 모델을 해석하기 위해 SHAP 기반 프레임워크를 제안하며, Shapley 값의 개념을 다수의 레이블에 걸쳐 특성 기여도를 설명하는 데로 확장한다. 이는 실세계 데이터셋인 foodtruck, 수질, 효모에서 BR, CC, MLKNN 알고리즘에 대해 전역적 특성 중요도, 국지적 예측 영향력, 레이블별 영향을 효과적으로 드러낸다.

ABSTRACT

Multi-label classification is a type of classification task, it is used when there are two or more classes, and the data point we want to predict may belong to none of the classes or all of them at the same time. In the real world, many applications are actually multi-label involved, including information retrieval, multimedia content annotation, web mining, and so on. A game theory-based framework known as SHapley Additive exPlanations (SHAP) has been applied to explain various supervised learning models without being aware of the exact model. Herein, this work further extends the explanation of multi-label classification task by using the SHAP methodology. The experiment demonstrates a comprehensive comparision of different algorithms on well known multi-label datasets and shows the usefulness of the interpretation.

연구 동기 및 목표

• 데이터 포인트가 동시에 여러 클래스에 속할 수 있는 다중 레이블 분류에 SHAP의 해석 기능을 확장한다.
• 다양한 다중 레이블 학습 알고리즘(BR, CC, MLKNN)에서 특성 기여도가 어떻게 설명되는지 평가한다.
• 모델 예측의 전역적 및 국지적 해석 가능성을 제공하여 실세계 기계학습 응용에서 신뢰성과 투명성을 확보한다.
• 다양한 다중 레이블 데이터셋과 모델 아키텍처에서 SHAP의 해석 성능을 비교한다.
• 현재 해석 방법의 한계를 규명하고 다중 레이블 작업을 위한 향후 모델 해석 연구를 이끌어내기 위함이다.

제안 방법

• 각 특성에 대해 모든 레이블에 대해 독립적으로 Shapley 값을 계산함으로써 SHAP 프레임워크를 다중 레이블 분류에 적응시킨다.
• SHAP 식을 사용한다: $\phi_i = \frac{1}{|N|!} \sum_{S \subseteq N \setminus \{i\}} |S|! (|N| - |S| - 1)! [f(S \cup \{i\}) - f(S)] $, 여기서 $f(S)$는 특성 부분집합 $S$를 사용한 모델 출력이다.
• 국소 설명을 위해 커널 SHAP를 활용하며, 입력 특성을 변형하고 예측 변화를 측정함으로써 특성 기여도를 추정한다.
• SHAP 요약도(모든 인스턴스에 걸친 특성 영향), 특성 중요도도(전역적 특성 순위), 및 힘도(국소 예측 분해)를 사용해 결과를 시각화한다.
• 식별된 세 가지 실세계 데이터셋(fruittruck, 수질, 효모)에 적용하며, 각각 12개, 14개, 14개의 레이블을 가진다. 사용된 알고리즘은 BR, CC, MLKNN이다.
• 국소 설명의 기초로 기준 예측(모든 학습 예측의 평균)을 사용하며, Shapley 값은 특성 기여도를 예측을 상승 또는 하강시키는 힘으로 표현한다.

실험 결과

연구 질문

• RQ1 SHAP는 어떻게 다중 레이블 분류 모델을 다수의 레이블에 걸쳐 효과적으로 확장할 수 있는가?
• RQ2 SHAP를 사용할 때 BR, CC, MLKNN 알고리즘 간 특성 중요도 순위는 어떻게 다름?
• RQ3 SHAP는 개별 레이블 예측에 대한 특성의 국소 기여도에 대해 어떤 통찰을 제공하는가?
• RQ4 다양한 다중 레이블 데이터셋과 모델 아키텍처 간 SHAP의 해석은 얼마나 일관된가?
• RQ5 특히 특성 상관관계와 계산 비용을 고려할 때, 현재 다중 레이블 환경에서 SHAP 기반 해석의 한계는 무엇인가?

주요 결과

• SHAP 특성 중요도도는 BR를 사용할 때 foodtruck 데이터셋에서 평균소득이 가장 영향력 있는 특성임을 보여주며, 이어 학력과 연령군 순이다.
• BR 및 CC 모델에서 상위 4개의 중요 특성은 거의 동일하지만, MLKNN는 완전히 다른 특성 중요도 순위를 보인다.
• SHAP 요약도는 수질 예측에서 고온도 표준편차(std_temp)가 강한 정적 영향을 미치며, 높은 CO2 수준은 부정적 영향을 미친다—이는 인간의 직관과 일치한다.
• 국소 해석을 위해 힘도는 효모 데이터셋에서 특정 특성인 Att54, Att26, Att79가 레이블 13의 예측을 증가시키는 반면, Att99와 Att34는 감소시키는 것으로 나타났다.
• 요약도에서 BR, CC, MLKNN 간의 해석 패턴은 대부분 일관되며, 다양한 모델 유형 간 SHAP의 강건성을 시사한다.
• 비록 효과적이지만 커널 SHAP는 대규모 데이터셋에서는 계산이 매우 느리며, 특성 상관관계는 명시적으로 모델링되지 않아 해석 정밀도에 영향을 줄 수 있다.