[논문 리뷰] Right for the Wrong Scientific Reasons: Revising Deep Networks by Interacting with their Explanations.

Patrick Schramowski, Wolfgang Stammer외 6명|arXiv (Cornell University)|2020. 01. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 55인용 수 13

한 줄 요약

이 논문은 식물 형태 분석 작업에서 모델 신뢰성과 내구성을 향상시키기 위해 인간 과학자들을 딥 네트워크 훈련 루프에 통합하는 설명 기반 상호작용 학습(XIL)을 소개한다. XIL은 모델 설명을 바탕으로 과학자들이 모델을 수정할 수 있도록 하여, 설명에 대한 인간 피드백을 반복적으로 통합함으로써 허위 상관관계(클레버 한스 행동)에 대한 의존도를 줄인다.

ABSTRACT

Deep neural networks have shown excellent performances in many real-world applications. Unfortunately, they may show Hans-like behavior---making use of confounding factors within datasets---to achieve high performance. In this work we introduce the novel setting of explanatory interactive learning (XIL) and illustrate its benefits on a plant phenotyping research task. XIL adds the scientist into the training loop such that she interactively revises the original model via providing feedback on its explanations. Our experimental results demonstrate that XIL can help avoiding Clever Hans moments in machine and encourages (or discourages, if appropriate) trust into the underlying model.

연구 동기 및 목표

• 실세계 데이터셋에서 딥 네트워크가 혼란스러운 비내재적 특징(클레버 한스 행동)에 의존하는 문제를 해결하기 위해.
• 과학자들이 모델 설명에 대한 피드백을 제공하여 모델 동작을 상호작용적으로 수정할 수 있는 프레임워크를 개발하기 위해.
• 훈련 과정에서 인간의 영역 지식을 통합하여 모델의 신뢰성과 내구성을 향상시키기 위해.
• 실제 과학적 응용 분야인 식물 형태 분석에서 상호작용적 수정의 효과를 입증하기 위해.

제안 방법

• XIL은 과학자들에게 모델 설명(예: 시각화 지도)을 제시함으로써 인간 피드백을 훈련 루프에 통합한다.
• 과학자들은 영역 지식에 기반하여 모델이 주의를 기울여야 할 특징 또는 忽시해야 할 특징을 지정함으로써 예측을 수정한다.
• 허위 특징에 대한 의존도를 억제하기 위해 인간 피드백을 포함한 손실 함수를 사용하여 모델를 미세 조정한다.
• 인간 상호작용을 안내하기 위해 기울기 기반 기여도 방법(예: Grad-CAM)을 사용하여 설명을 생성한다.
• 반복적인 피드백 루프를 통해 전체 재학습 없이도 점진적인 모델 동작 개선이 가능하다.
• 모델이 초기에 배경 잡음 요소에 의존하는 식물 형태 분석 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 모델 설명에 대한 상호작용 피드백이 딥 러닝 모델의 허위 상관관계에 대한 의존도를 줄일 수 있는가?
• RQ2 영역 전문가가 모델 설명을 해석하고 수정하는 것의 영향을 모델의 내구성과 성능에 미치는 정도는 어떠한가?
• RQ3 XIL을 통해 광범위한 재학습 없이도 모델 예측에 대한 신뢰도를 얼마나 향상시킬 수 있는가?
• RQ4 XIL은 과학적 영상 분석 작업에서 더 신뢰할 수 있고 일반화 가능한 모델 동작을 이끌어낼 수 있는가?

주요 결과

• XIL은 식물 형태 분석에서 혼란스러운 배경 특징에 대한 모델 의존도를 성공적으로 감소시켜, 분포 외 데이터에 대한 일반화 능력을 향상시켰다.
• 과학자들은 생물학적으로 관련 있는 식물 특징에 주의를 기울임으로써 클레버 한스 행동을 보인 모델를 수정할 수 있었다.
• XIL을 통해 수정된 모델는 베이스라인 모델보다 도메인 특화 지식과 더 높은 일치도를 보였다.
• 상호작용 피드백 루프는 배경 구성이 훈련 데이터와 다를 경우에도 더 내구성 있는 예측을 이끌어냈다.