[논문 리뷰] Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA

Ana Valeria González, Gagan Bansal외 4명|arXiv (Cornell University)|2020. 12. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 7

한 줄 요약

이 연구는 500명 이상의 참가자가 참여한 인간 사용자 연구를 통해 개방형 도메인 질의응답(ODQA)에서 말하기 방식과 시각적 설명의 효과를 평가한다. 설명은 신뢰도 점수만 제공하는 것보다 사용자가 오류를 탐지하는 데에 상당히 기여하지만, 가장 효과적인 설명 유형은 모odal에 따라 달라진다: 말하기 인터페이스에서는 추출 문장 설명이 더 우수하고, 시각적 인터페이스에서는 더 긴 추출 문단 설명이 더 효과적임을 확인하며, 이는 모달에 맞는 설명 설계의 필요성을 강조한다.

ABSTRACT

While research on explaining predictions of open-domain QA systems (ODQA) to users is gaining momentum, most works have failed to evaluate the extent to which explanations improve user trust. While few works evaluate explanations using user studies, they employ settings that may deviate from the end-user's usage in-the-wild: ODQA is most ubiquitous in voice-assistants, yet current research only evaluates explanations using a visual display, and may erroneously extrapolate conclusions about the most performant explanations to other modalities. To alleviate these issues, we conduct user studies that measure whether explanations help users correctly decide when to accept or reject an ODQA system's answer. Unlike prior work, we control for explanation modality, e.g., whether they are communicated to users through a spoken or visual interface, and contrast effectiveness across modalities. Our results show that explanations derived from retrieved evidence passages can outperform strong baselines (calibrated confidence) across modalities but the best explanation strategy in fact changes with the modality. We show common failure cases of current explanations, emphasize end-to-end evaluation of explanations, and caution against evaluating them in proxy modalities that are different from deployment.

연구 동기 및 목표

• 설명이 사용자가 ODQA 시스템의 답변을 신뢰할지 또는 기각할지 올바르게 판단하는 데에 도움이 되는지 조사하기.
• 말하기 및 시각적 모달 간에 다양한 설명 유형—근거 문단, 근거 문장, 개괄적 요약—의 효과성을 비교하기.
• 검색된 근거에서 유도된 설명이 캘리브레이션된 신뢰도 점수와 같은 강력한 베이스라인을 능가하는지 평가하기.
• 설명 설계에서 발생하는 모달에 특화된 실패 케이스와 인지적 트레이드오프를 규명하기.
• 실제로 음성 보조 장치와 같은 말하기 인터페이스에 배포될 경우, 그에 비해 시각적 모달에서만 평가하는 것에 대해 경계하기.

제안 방법

• 말하기 또는 시각적 인터페이스를 통해 ODQA 시스템과 상호작용한 참가자 500명 이상을 대상으로 종단 간 사용자 연구를 수행하였다.
• 세 가지 설명 유형을 평가: 전체 검색된 근거 문단, 단일 검색된 근거 문장, 인간이 작성한 개괄적 요약.
• 성과 기반 인centive를 포함한 보상 매트릭스를 사용하여 실제 사용자 동기와 의사결정 비용을 모의하였다.
• 모달(말하기 대비 시각적)을 제어하고, 다양한 설명 전략과 베이스라인 간 오류 탐지 능력을 비교하였다.
• 효과성과 인지 부하를 평가하기 위해 정확도, 사용자 속도, 인식된 설명 품질을 측정하였다.
• 설명이 잘못된 답변을 더 신뢰하게 만들며, 신뢰도 베이스라인보다도 더 높은 오류를 유도한 실패 케이스를 분석하였다.

실험 결과

연구 질문

• RQ1 설명은 캘리브레이션된 신뢰도 점수만 제공하는 것보다 사용자가 ODQA 예측의 오류를 더 잘 탐지하는 데에 도움이 되는가?
• RQ2 설명 전략의 효과성이 말하기 모달과 시각적 모달 간에 다를까?
• RQ3 각 모달에서 가장 높은 오류 탐지 능력을 보이는 설명 유형은 무엇인가? (근거 문단, 근거 문장, 개괄적 요약 중)
• RQ4 어떤 설명은 왜 사용자를 잘못된 답변을 신뢰하게 만들며, 모달은 이러한 현상에 어떤 영향을 미치는가?
• RQ5 인지 부하와 정보 밀도는 말하기 인터페이스와 시각적 인터페이스에서 설명의 성능에 어느 정도 영향을 미치는가?

주요 결과

• 말하기 모달에서는 모든 설명 유형이 캘리브레이션된 신뢰도 베이스라인보다 오류 탐지 능력에서 유의미하게 뛰어나며, 특히 추출 문장 설명이 가장 효과적이다.
• 시각적 모달에서는 더 긴 추출 문단 설명이 문장 수준의 설명보다 더 뛰어나며, 이는 시각적 사용자가 더 자세한 근거에서 유의미한 이점을 얻음을 시사한다.
• 개괄적 요약은 더 긴 설명보다 정확도 향상에 기여하지 않았지만, 사용자 작업 시간을 2.2초 감소시키고 더 간결하다고 평가받았다.
• 개선된 결과에도 불구하고, 일부 설명은 오류를 유도하여 신뢰도 베이스라인과 비슷한 빈도로 잘못된 답변을 신뢰하게 만들었으며, 이는 여전히 신뢰성 문제를 암시한다.
• 추출 문장 설명은 말하기 모드에서 가장 효과적이었으며, 이는 낮은 인지 부하 때문일 가능성이 높다. 반면 더 긴 설명은 시각적 모달에서 더 효과적이었으며, 이는 세부 정보와 이해 가능성 사이의 모달에 따라 달라지는 트레이드오프를 시사한다.
• 이 연구는 최적의 설명 전략이 보편적이지 않으며, 실제 구현 모달에 맞게 조정되어야 한다는 점을 입증하며, 시각적 모달에서만 평가된 결과를 일반화하는 데에 대한 가정을 도전한다.