[논문 리뷰] A Study on Multimodal and Interactive Explanations for Visual Question Answering

Kamran Alipour, Jürgen P. Schulze외 3명|arXiv (Cornell University)|2020. 03. 01.

Multimodal Machine Learning Applications참고 문헌 32인용 수 8

한 줄 요약

이 논문은 시각적 주의 맵, 텍스트 기반 설명, 그리고 사용자가 주의 맵을 편집할 수 있는 상호작용형 '액티브 어텐션' 인터페이스를 결합한 다중모달이고 상호작용 가능한 설명 시스템을 제안한다. 90명의 참가자가 참여한 사용자 연구를 통해 설명이 시스템의 정확도를 예측하는 데 사용자의 능력을 크게 향상시킨다는 것을 입증하였으며, 특히 시스템이 잘못된 답변을 제공할 경우에 그 효과가 두드러진다. 또한 설명의 평가 점수와 예측 성능 간에 강한 상관관계가 있음을 확인하여 인간-AI 협업에서의 효과성을 검증한다.

ABSTRACT

Explainability and interpretability of AI models is an essential factor affecting the safety of AI. While various explainable AI (XAI) approaches aim at mitigating the lack of transparency in deep networks, the evidence of the effectiveness of these approaches in improving usability, trust, and understanding of AI systems are still missing. We evaluate multimodal explanations in the setting of a Visual Question Answering (VQA) task, by asking users to predict the response accuracy of a VQA agent with and without explanations. We use between-subjects and within-subjects experiments to probe explanation effectiveness in terms of improving user prediction accuracy, confidence, and reliance, among other factors. The results indicate that the explanations help improve human prediction accuracy, especially in trials when the VQA system's answer is inaccurate. Furthermore, we introduce active attention, a novel method for evaluating causal attentional effects through intervention by editing attention maps. User explanation ratings are strongly correlated with human prediction accuracy and suggest the efficacy of these explanations in human-machine AI collaboration tasks.

연구 동기 및 목표

• 다중모달 및 상호작용형 설명이 인간이 VQA 시스템의 행동을 이해하고 예측하는 데 도움이 되는지 평가하는 것.
• 설명이 인간-AI 협업에서 사용자의 자신감, 의존도 및 정신 모델 형성에 미치는 영향을 조사하는 것.
• '액티브 어텐션'을 도입하고 평가하는 것 — 사용자가 주의 맵을 수정하고 실시간으로 시스템 피드백을 관찰할 수 있는 상호작용 방식.
• 설명의 유용성 평가 점수와 사용자 예측 정확도 간의 상관관계를 측정하는 것.
• 특히 VQA 시스템이 잘못된 답변을 제공할 경우 설명 유형이 사용자 성능에 미치는 영향을 평가하는 것.

제안 방법

• 90명의 참가자가 참여한 사전-후행 및 대조군 설계의 사용자 연구를 실시하여, 설명 유무에 따라 예측 정확도를 비교한다.
• 공간적 주의 맵, 텍스트 기반 설명, 그리고 주의 맵 편집이 가능한 혁신적인 상호작용형 '액티브 어텐션' 인터페이스를 포함한 다중모달 설명을 제공한다.
• 각 예측 작업에 대해 사용자가 설명의 유용성과 자신감 수준을 평가하도록 수집한다.
• 정확도 예측 작업을 수행하여 사용자가 VQA 시스템의 답변이 정확한지 예측하도록 하며, 설명 블록과 비설명 블록 간의 성능을 측정한다.
• 사용자가 주의 맵을 수정하고 즉각적인 피드백을 관찰할 수 있도록 액티브 어텐션을 적용하여 주의의 영향을 인과적으로 평가할 수 있도록 한다.
• 설명 평가 점수, 예측 정확도, 사용자 자신감 간의 상관관계를 분석하여 설명의 유효성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다중모달 설명(시각적, 텍스트적, 상호작용형)을 제공할 경우 사용자의 VQA 시스템 답변의 정확도 예측 능력이 향상되는가?
• RQ2 설명 평가 점수는 사용자 예측 정확도와 자신감에 어떻게 상관관계가 있는가?
• RQ3 상호작용형 설명(액티브 어텐션)이 사용자의 신뢰도 및 VQA 결과 예측 성능에 어떤 영향을 미치는가?
• RQ4 VQA 시스템이 정확할 경우와 잘못된 답변을 제공할 경우 사용자의 예측 행동은 어떻게 다를까? 특히 설명 사용 여부와의 관계에서 어떻게 다를까?
• RQ5 서로 다른 설명 방식이 동시에 제공될 경우(예: AL 그룹), 사용자의 성능은 어떻게 저하되며, 정보 과부하 또는 모순된 신호로 인한 혼란은 어느 정도인가?

주요 결과

• 설명은 특히 VQA 시스템이 잘못된 답변을 제공한 경우에 사용자 예측 정확도를 크게 향상시켰다.
• 설명을 더 유용하다고 평가한 사용자는 시스템의 정확도를 더 정확히 예측하는 경향이 있었으며, 이는 설명의 질과 사용자 성능 간의 강한 상관관계를 시사한다.
• 사용자의 자신감은 VQA 시스템의 자체 신뢰도 점수(상위 답변 확률)와 강하게 상관관계가 있었으며, 이는 사용자가 시스템에 대한 신뢰할 수 있는 정신 모델을 형성했다는 것을 의미한다.
• 액티브 어텐션 인터페이스를 사용한 사용자는 다른 설명 방식에 비해 더 높은 자신감을 보였으며, 이는 사용자 신뢰도 및 이해도 향상에 효과적이라는 것을 시사한다.
• 다양한 상충되는 설명 방식(예: AL 그룹)에 노출된 그룹에서는 성능 향상이 없었고, 일부 사용자는 정보 과부하 또는 모순된 신호로 인해 혼란을 겪었다.
• 시스템이 잘못된 경우에 유용하다고 평가된 설명은 오히려 오해의 소지가 있었으며, 이는 실패 상황에서 더 견고한 설명 설계가 필요함을 시사한다.