[논문 리뷰] "Why is 'Chicago' deceptive?" Towards Building Model-Driven Tutorials for Humans

Vivian Lai, Han Liu외 1명|arXiv (Cornell University)|2020. 01. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 62인용 수 4

한 줄 요약

이 논문은 기계학습에서의 직관에 어긋나는 패턴을 이해하는 데 도움이 되도록 단순 모델과 딥러닝 모델의 설명을 활용한 모델 기반 튜토리얼을 제안한다. 특히 위장된 리뷰 탐지 분야에서, 단순 모델 기반 튜토리얼은 실시간 지원 없이도 인간의 성능을 크게 향상시키며, 정적 설명보다 모델 기반 교육의 가치를 입증한다.

ABSTRACT

To support human decision making with machine learning models, we often need to elucidate patterns embedded in the models that are unsalient, unknown, or counterintuitive to humans. While existing approaches focus on explaining machine predictions with real-time assistance, we explore model-driven tutorials to help humans understand these patterns in a training phase. We consider both tutorials with guidelines from scientific papers, analogous to current practices of science communication, and automatically selected examples from training data with explanations. We use deceptive review detection as a testbed and conduct large-scale, randomized human-subject experiments to examine the effectiveness of such tutorials. We find that tutorials indeed improve human performance, with and without real-time assistance. In particular, although deep learning provides superior predictive performance than simple models, tutorials and explanations from simple models are more useful to humans. Our work suggests future directions for human-centered tutorials and explanations towards a synergy between humans and AI.

연구 동기 및 목표

• 모델 기반 튜토리얼(실시간 설명과는 다름)이 기계학습 모델을 해석하는 데 있어 인간의 성능 향상에 기여하는지 조사하는 것.
• 단순 모델 기반 튜토리얼과 딥러닝 모델 기반 튜토리얼이 인간이 직관에 어긋나는 패턴을 이해하는 데 얼마나 효과적인지 비교하는 것.
• 설명에 추론 과정(예: 어떤 특성이 중요한지 '왜'인지)을 포함시켜 인간의 가설 생성과 의사결정이 어떻게 향상되는지 탐색하는 것.
• 특히 높은 위험도를 지닌 인간-기계 협업 AI 응용 분야에서 신뢰도와 모델의 제약 조건이 튜토리얼 설계에 미치는 영향을 조사하는 것.
• 정적 기능 기여도를 넘어서는 상호작용형 모델 기반 튜토리얼의 설계 원칙을 규명하는 것.

제안 방법

• 아마존 메카니컬 터크와 대학 캠퍼스에서 실시한 대규모, 랜덤화, 사전 등록된 인간 참가자 실험(1,000명 이상).
• 두 가지 유형의 튜토리얼 설계: (1) 실제 학습 데이터를 기반으로 한 예시 중심 튜토리얼, (2) 위장된 리뷰 탐지 분야의 과학 문헌에서 추출한 지침 중심 튜토리얼.
• 단순 모델(예: 로지스틱 회귀)과 딥러닝 모델(예: BERT)을 사용해 설명을 생성하며, 주로 기능 기여도와 텍스트적 정당성 근거에 집중.
• 참가자들에게 레이블이 부여된 리뷰, 모델 예측 결과, 설명(강조된 단어 또는 추론 기반 설명 방식)을 제시.
• 실시간 지원 유무에 따라 위장된 리뷰와 진짜 리뷰를 정확하게 분류하는 능력으로 성능 평가.
• 신뢰도, 이해도, 가설 생성 능력에 대한 질적 피드백을 수집.

실험 결과

연구 질문

• RQ1 모델 기반 튜토리얼을 사용할 경우, 튜토리얼 없이 대비해 위장된 리뷰 탐지 성능이 향상되는가?
• RQ2 딥러닝 모델 기반 튜토리얼보다 단순 모델 기반 튜토리얼이 인간의 이해도와 성능 향상에 더 효과적인가?
• RQ3 특성 기여도 외에 추론(예: '어떤 단어가 중요한지 이유를 설명')을 포함한 튜토리얼이 특성 기여도만 있는 경우보다 인간의 가설 생성 능력을 더 잘 향상시키는가?
• RQ4 모델의 강점과 한계를 포함시킬 경우 인간의 신뢰도와 성능에 어떤 영향을 미치는가?
• RQ5 정적 설명과 비교해 상호작용형 또는 동적 설명(예: 반성적 조작, 예: 단어 제거)이 학습 효과에 얼마나 기여하는가?

주요 결과

• 실시간 지원 없이도 튜토리얼은 인간의 위장된 리뷰 탐지 성능을 크게 향상시켰으며, 전용 교육 단계의 가치를 입증했다.
• 딥러닝 모델이 더 높은 예측 정확도를 보였음에도 불구하고, 단순 모델 기반 튜토리얼이 딥러닝 모델 기반 튜토리얼보다 인간의 성능 향상에 더 효과적이었다.
• 예를 들어 '상상력은 모호한 세부 정보를 낳는다'와 같은 추론을 포함한 설명은 기능 기여도만 있는 설명보다 더 효과적이었으며, '왜'라는 이유 설명이 가설 생성에 핵심적임을 시사했다.
• 모델의 강점과 한계를 강조한 튜토리얼은 인간의 신뢰도를 높이고 모델 출력에 대한 과도한 의존도를 줄였으며, 균형 잡힌 모델 커뮤니케이션의 필요성을 뒷받침했다.
• 튜토리얼의 효과는 인구 통계적 집단 간에 일관되었지만, 비기술적 인구 집단에는 일반화되지 않을 수 있다.
• 예를 들어 단어를 제거하는 등의 반성적 조작을 허용하는 상호작용형 튜토리얼은 더 깊은 이해를 위한 잠재력을 보였지만, 본 연구에서는 완전히 평가되지 않았다.