[논문 리뷰] What made you do this? Understanding black-box decisions with sufficient input subsets

Brandon Carter, Jonas Mueller외 2명|arXiv (Cornell University)|2018. 10. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 10인용 수 12

한 줄 요약

이 논문은 블랙박스 모델의 결정을 정당화할 수 있는 최소한의, 충실한, 간결한 입력 특성 부분집합을 식별하는 모델에 종속되지 않는 방법인 충분한 입력 부분집합(Sufficient Input Subsets, SIS)을 제안한다. 뒤로 선택(backward selection)을 사용하여 반복적으로 특성 마스킹을 수행함으로써 SIS는 기존 방법보다 더 간결하고 충실한 희박한 정당화 근거를 생성한다. 이는 텍스트, 이미지, 유전체 데이터 전반에서 입증된 유용성을 보였다.

ABSTRACT

Local explanation frameworks aim to rationalize particular decisions made by a black-box prediction model. Existing techniques are often restricted to a specific type of predictor or based on input saliency, which may be undesirably sensitive to factors unrelated to the model's decision making process. We instead propose sufficient input subsets that identify minimal subsets of features whose observed values alone suffice for the same decision to be reached, even if all other input feature values are missing. General principles that globally govern a model's decision-making can also be revealed by searching for clusters of such input patterns across many data points. Our approach is conceptually straightforward, entirely model-agnostic, simply implemented using instance-wise backward selection, and able to produce more concise rationales than existing techniques. We demonstrate the utility of our interpretation method on various neural network models trained on text, image, and genomic data.

연구 동기 및 목표

• 모델의 투명성 부족으로 신뢰가 떨어지는 고위험 기계학습 응용 분야에서 충실하고 희박하며 해석 가능한 정당화 근거가 필요한 문제를 해결하기 위해.
• 기울기 기반 또는 모델에 특화된 설명 방법의 한계를 극복하기 위해, 불필요한 입력 변동에 민감하거나 특정 아키텍처에 국한되는 방법들이 문제가 되는 것을 방지하기 위해.
• 비전문가가 복잡한 모델을 이해할 수 있도록, 모델의 결정을 내리는데 충분한 최소 입력 패턴을 식별함으로써.
• 여러 데이터 포인트에 걸쳐 SIS 패턴을 클러스터링하여 전반적인 결정 원칙을 드러내기 위해.
• 모델 내부 기울기나 아키텍처 세부 정보에 접근할 필요 없이도 어떤 블랙박스 모델과도 작동하는 단순하고 일반적인 설명 프레임워크를 제공하기 위해.

제안 방법

• 모델의 출력이 임계값 $\tau$ 이상이 되는 최소한의 특성 부분집합 $S \subseteq [p]$를 정의함으로써 충분한 입력 부분집합(Sufficient Input Subsets, SIS)을 제안한다. 여기서 $\mathbf{x}_S$ 는 $S$ 외부의 모든 특성을 마스킹한 입력이다.
• 개별 인스턴스 기반의 뒤로 선택: 전체 입력에서 특성을 반복적으로 제거하여 모델의 출력이 임계값 $\tau$ 이상을 유지할 때까지 진행한다.
• SIS가 최소성을 확보하기 위해, $S$ 에서 어떤 특성 $i$ 를 제거하면 $f(\mathbf{x}_{S \setminus \{i\}}) < \tau$ 가 되는지 확인한다.
• 다양한 초기 특성 집합에서 다시 시작하는 뒤로 선택을 통해 각 입력에 대해 다수의 SIS를 생성함으로써 다양한 최소 정당화 근거를 포괄한다.
• 임베딩 기반 유사도를 사용해 여러 데이터 포인트에 걸쳐 SIS를 클러스터링하여 전반적인 결정 패턴과 모델 행동을 드러낸다.
• 모델에 특화된 수정이나 기울기 계산 없이도 텍스트, 이미지, 유전체 데이터 등 다양한 데이터 유형에 적용 가능하다.

실험 결과

연구 질문

• RQ1 기울기나 모델 아키텍처에 의존하지 않고도 모델에 종속되지 않는 방법이 블랙박스 모델의 예측을 정당화할 수 있는 최소 입력 부분집합을 식별할 수 있는가?
• RQ2 LIME, 통합 기울기(Integrated Gradients), 또는 펌프리베이션 기반 접근법과 같은 기존 설명 방법과 비교해 SIS는 어떤가? 특히 희박성과 충실성 측면에서.
• RQ3 여러 입력에 걸쳐 SIS를 클러스터링하면 인간이 이해할 수 있는 의미 있는 결정 패턴이나 모델 행동의 일반 원칙을 드러낼 수 있는가?
• RQ4 SIS는 감성 분석, 이미지 분류, 유전체 예측과 같은 실제 응용 분야에서 복잡한 모델을 얼마나 잘 해석하는 데 활용될 수 있는가?
• RQ5 자연어 및 이미지 데이터에서 다양한 마스킹 전략과 입력 펌프리베이션에 대해 SIS는 얼마나 강건한가?

주요 결과

• SIS는 경쟁 방법들보다 훨씬 더 간결한 정당화 근거를 생성한다. 입력 텍스트의 중앙값으로 2.4%의 길이를 보이며, LIME와 통합 기울기의 경우 3.0–3.2% 수준이다.
• SIS 정당화 근거는 다른 방법들보다 높은 특성 중요도를 보이며, 중앙값이 0.0210이다. LIME 및 통합 기울기와 비교해 특성 관련성에서 통계적으로 유의미한 차이가 있다(p < 0.001).
• 맥주 리뷰 감성 예측에서, SIS는 긍정적인 후각 감성에 대해 12개의 충분한 입력 부분집합 클러스터를 식별했으며, 빈도가 높은 패턴으로는 'smooth creamy'(27회 발생)와 'perfect'(50회 발생) 등이 있었다.
• 부정적인 후각 예측에서는 'watery'(302회 발생)와 'overcarbonated'(12회 발생)와 같은 주목할 만한 패턴을 포착했으며, 인간이 애너테이션한 정당화 근거와 일치했다.
• SIS는 평균 대체 및 핫디크 대체 전략 등 다양한 마스킹 전략에 대해 강건성을 보였으며, 추출 실험에서 예측 안정성이 일관되게 유지되었다.
• 테스트 예제 전반에 걸친 SIS 클러스터링은 'mouthfeel perfect'이나 'silky smooth'와 같은 의미적으로 일관된 의미 클러스터를 드러내었으며, 이는 SIS가 모델에서 의미 있고 일반화 가능한 결정 개념을 효과적으로 추출할 수 있음을 시사한다.