[논문 리뷰] Do Users Benefit From Interpretable Vision? A User Study, Baseline, And Dataset

Leon Sixt, Martin Schuessler외 3명|arXiv (Cornell University)|2022. 04. 25.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 사용자가 해석 가능한 시각 방법—특히 개념 기반 및 반성적 설명—을 사용할 경우 단순한 기준군(모델의 로짓에 따라 이미지를 그룹화하는 방식)에 비해 유의미한 이점을 얻는지 평가한다. 제어된 편향을 가진 합성 데이터셋(Two4Two)을 사용하여 240명의 참가자가 참여한 사용자 연구에서 기준군이 개념 기반 설명보다 우수한 성능을 보였으며, 역행성 신경망을 활용한 반성적 설명은 유사한 정확도를 보였지만 약간 더 정확한 속성 식별을 가능하게 하였다. 이는 해석 가능성 도구의 평가에 사용자 중심 접근이 필요하다는 점을 시사한다.

ABSTRACT

A variety of methods exist to explain image classification models. However, whether they provide any benefit to users over simply comparing various inputs and the model's respective predictions remains unclear. We conducted a user study (N=240) to test how such a baseline explanation technique performs against concept-based and counterfactual explanations. To this end, we contribute a synthetic dataset generator capable of biasing individual attributes and quantifying their relevance to the model. In a study, we assess if participants can identify the relevant set of attributes compared to the ground-truth. Our results show that the baseline outperformed concept-based explanations. Counterfactual explanations from an invertible neural network performed similarly as the baseline. Still, they allowed users to identify some attributes more accurately. Our results highlight the importance of measuring how well users can reason about biases of a model, rather than solely relying on technical evaluations or proxy tasks. We open-source our study and dataset so it can serve as a blue-print for future studies. For code see, https://github.com/berleon/do_users_benefit_from_interpretable_vision

연구 동기 및 목표

• 모델의 편향을 탐지하는 데 사용자가 얼마나 잘 성과를 내는지 평가하기 위해 현대적인 해석 가능한 시각 기법이 단순한 기준군(모델 출력에 따라 입력을 그룹화하는 방식)보다 성능 향상을 이룰 수 있는지 조사한다.
• 사용자 연구를 통한 모델 해석 가능성 평가에 적합한 제어 가능한 기능과 편향을 갖춘 합성 데이터셋(Two4Two)을 개발한다.
• 데이터 생성 과정이 알려진 제어된 환경에서 진정한 기여도를 정량화한다.
• 향후 해석 가능성 기법 평가를 위한 기준군을 모델 출력만을 사용하여 수립한다.
• 데이터셋, 모델, 연구 설계, 튜토리얼을 오픈소스로 제공하여 향후 연구의 재현 가능성과 응용 가능성을 지원한다.

제안 방법

• 이중의 추상 동물 이미지를 생성할 수 있는 합성 데이터셋 생성기 Two4Two를 개발하여 색상, 형태 등의 제어 가능한 속성과 이진 타깃 클래스와 관련된 편향을 조절할 수 있도록 한다.
• 모델의 출력 로짓에 따라 입력 이미지를 그룹화하는 기준군 설명 방법을 설계하여 사용자가 입력과 예측을 시각적으로 비교할 수 있도록 한다.
• 역행성 신경망(INNs)을 사용하여 예측을 뒤바꾸면서도 관련 없는 속성의 변화를 최소화하는 이미지 보간을 통해 반성적 설명을 생성한다.
• 최신 기법(Zhang 등, 2021)을 활용해 잠재 공간 내에서 해석 가능한 특징을 탐지하여 개념 기반 설명을 식별한다.
• 참가자 240명이 참여한 사용자 연구를 수행하여 각 참가자는 한 번에 하나의 설명 유형을 보여주고, 모델 예측의 원인이 되는 관련 속성을 식별하도록 요청한다.
• 정확도와 사용성 평가를 위해 이진 선택과 텍스트적 정당화를 수집하였으며, 신뢰할 수 있는 커뮤니티 기반 응답을 확보하기 위해 품질 점검을 실시하였다.

실험 결과

연구 질문

• RQ1 모델 출력에 따라 입력을 그룹화하는 단순한 기준군이 개념 기반 설명 및 반성적 설명보다 사용자가 편향 관련 속성을 식별하는 데 더 뛰어난 성능을 보일 수 있는가?
• RQ2 역행성 신경망을 통해 생성된 반성적 설명이 기준군 대비 사용자의 편향 탐지 성능을 향상시킬 수 있는가?
• RQ3 사용자들은 개념 기반 설명을 어떻게 해석하고 추론하는가? 실무에서 나타나는 사용성 문제들은 무엇인가?
• RQ4 다양한 설명 기법을 제시했을 때 사용자가 진정한 편향 관련 속성을 얼마나 정확히 식별하는가?
• RQ5 편향이 강할 경우와 약할 경우에 따라 설명 기법의 성능는 어떻게 달라지며, 사용자들은 반성적 설명의 미세한 변화를 어떻게 인지하는가?

주요 결과

• 모델 로짓에 따라 이미지를 그룹화하는 기준군 방법이 개념 기반 설명보다 편향 관련 속성 식별에 있어 유의미하게 뛰어난 성능을 보였다.
• 역행성 신경망을 통해 생성된 반성적 설명은 기준군과 유사한 정확도를 보였지만 가장 강한 편향을 더 정확히 식별하는 데 기여하였다.
• 참가자들은 개념 기반 설명을 해석하는 데 어려움을 겪었으며, 특히 공간적 겹침과 관련 특징을 강조하는 데서 표현력이 부족한 점이 주요 원인이었다.
• 텍스트 정당화 분석을 통해 모든 설명 유형에서 사용성 문제를 확인할 수 있었으며, 특히 어떤 속성이 변경되었는지 혼동하거나 반성적 설명에서 배경 변화를 잘못 해석하는 사례가 다수 발견되었다.
• 기술적으로 정교한 개념 기반 및 반성적 설명이라도 단순한 기준군을 뛰어나지 못했으며, 이는 사용자 중심 평가의 필요성을 강조한다.
• 이 연구는 기술적 평가만으로는 부족하며, 진정한 해석 가능성 기법의 효과를 평가하기 위해서는 실제 사용자 성능을 직접 측정해야 한다는 점을 입증한다.