[논문 리뷰] Do Explanations make VQA Models more Predictable to a Human?

Arjun Chandrasekaran, Viraj Prabhu외 3명|arXiv (Cornell University)|2018. 10. 29.

Multimodal Machine Learning Applications참고 문헌 21인용 수 8

한 줄 요약

이 논문은 기계가 생성한 설명이 인간이 시각질의질의응답(VQA) 모델의 행동을 예측하는 데 도움이 되는지 조사한다. 아마존 메카니컬 터크에서 실시한 인간-중심 연구를 통해, 모델에 대한 익숙함이 인간의 예측 정확도를 높이는 것으로 나타났지만, 주로 사용되는 설명 방식—예를 들어 주의 맵이나 자연어 설명—은 예측 가능성에 유의미한 향상을 주지 못함을 확인하였다. 이는 설명이 인간-AI 협업을 향상시킨다는 전제가 잘못되었음을 도전한다.

ABSTRACT

A rich line of research attempts to make deep neural networks more transparent by generating human-interpretable 'explanations' of their decision process, especially for interactive tasks like Visual Question Answering (VQA). In this work, we analyze if existing explanations indeed make a VQA model -- its responses as well as failures -- more predictable to a human. Surprisingly, we find that they do not. On the other hand, we find that human-in-the-loop approaches that treat the model as a black-box do.

연구 동기 및 목표

• 기계가 생성한 설명이 인간이 VQA 모델의 행동을 예측하는 능력을 향상시키는지 평가하기 위해.
• 설명이 인간이 모델의 성공, 실패 및 응답을 이해하는 데 도움이 되는지 조사하기 위해.
• 설명 방식의 효과와 인간의 모델 익숙함이 모델 예측 가능성 향상에 얼마나 효과적인지 비교하기 위해.
• 협업적 의사결정 환경에서 인간-AI 상호작용의 역학이 어떻게 작용하는지 평가하기 위해.
• 설명이 인간-AI 팀에서 신뢰나 사용성 향상에 본질적으로 기여한다는 전제를 도전하기 위해.

제안 방법

• Lu 등(2016)의 연구 기반으로 VQA-1.0 데이터셋에 훈련된 VQA 모델(Vicki)을 사용하며, 이미지 및 질문에 대한 주의 맵에 액세스 가능.
• 실패 예측(FP) 및 지식 예측(KP) 과제를 평가하기 위해 아마존 메카니컬 터크에서 인간 참가자 연구를 실시.
• 참가자들에게 두 가지 형태의 지원 제공: (1) 모델의 행동에 익숙해지기 위한 훈련 단계, (2) 다양한 설명 방식(예: 주의 맵, 자연어 설명)에 노출.
• FP(정확/오류 예측) 및 KP(정확한 답변 예측)에 대해 정확도 지표를 사용해 예측 성능 측정.
• 배경 요소가 모델 예측 가능성에 미치는 영향을 분석하기 위해 인구통계학적 및 AI 숙련도 데이터 수집.
• 통제된 실험 설계를 통해 무작위로 선택된 이미지-질문 쌍과 설명 조건을 사용해 설명과 익숙함의 영향을 분리.

실험 결과

연구 질문

• RQ1 주목적 맵이나 자연어 설명과 같은 설명 방식이 인간이 VQA 모델의 응답을 예측하는 능력을 향상시키는가?
• RQ2 VQA 모델의 행동에 인간을 익숙하게 하는 것이 그 모델의 성공과 실패를 예측하는 능력을 향상시키는가?
• RQ3 설명 없이 인간이 VQA 모델의 정확한 답변을 얼마나 잘 예측할 수 있는가?
• RQ4 특정 모델의 특성(예: 주로 어두운 색상에 기반한 편향, 질문의 첫 단어에 의존하는 경향 등)은 인간이 노출을 통해 예측할 수 있는가?
• RQ5 설명이 존재할 경우 인간은 상호작용 환경에서 모델의 신뢰성과 예측 가능성에 대해 어떻게 인식하는가?

주요 결과

• 인간은 우연보다도 유의미하게 VQA 모델의 응답과 실패를 예측할 수 있으며, 특히 훈련 단계 이후에 더욱 높은 성능을 보였다.
• 모델의 행동에 익숙해지는 것이 실패 예측 및 지식 예측 과제에서 인간의 성능을 크게 향상시켰다.
• 넓게 사용되고 있음에도 불구하고, 주의 맵이나 자연어 설명과 같은 설명 방식은 인간의 예측 정확도를 향상시키지 못했다.
• 모델은 일관된 편향을 보였는데, 예를 들어 '색상' 질문에서는 주로 어두운 색상에 기반해 응답하거나, 질문의 첫 단어에 의존하는 경향이 있었으며, 인간은 이러한 경향을 노출을 통해 예측 가능하게 학습할 수 있었다.
• 설명이 없이도 인간은 모델 행동을 예측할 수 있었고, 설명이 인간-AI 협업을 향상시키는 데 기여하지 않는다는 점에서 설명의 의도된 목적을 달성하지 못했다.
• 프로그래밍 경험이나 AI 시스템에 대한 익숙함과 같은 배경 요소는 예측 성능과 상관관계가 있었으며, 이는 사용자 배경이 모델 예측 가능성에 영향을 미칠 수 있음을 시사한다.