[논문 리뷰] Interactive Classification for Deep Learning Interpretation

Ángel Alexander Cabrera, Fred Hohman외 2명|arXiv (Cornell University)|2018. 06. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 6

한 줄 요약

이 논문은 사용자가 이미지 영역을 보정하여 제거함으로써 실시간으로 딥러닝 이미지 분류기의 내성에 대한 탐색이 가능한 웹 기반 상호작용 시스템을 제시한다. TensorFlow.js를 활용해 브라우저 내에서 추론을 수행하고, Telea 및 PatchMatch 알고리즘을 사용한 보정 기법을 적용하여, 사용자가 이미지의 일부를 제거할 때 즉각적인 분류 결과 변화를 관찰할 수 있다. 이 시스템은 모델의 실패 사례와 내성성을 동시에 드러내며, 예를 들어 보트의 마스트를 제거한 후 선착장 이미지가 오션 라이너로 잘못 분류되는 경우나, 야구 선수 이미지에서 핵심 객체를 제거한 후에도 정확하게 분류되는 경우를 통해 이를 입증한다.

ABSTRACT

We present an interactive system enabling users to manipulate images to explore the robustness and sensitivity of deep learning image classifiers. Using modern web technologies to run in-browser inference, users can remove image features using inpainting algorithms and obtain new classifications in real time, which allows them to ask a variety of "what if" questions by experimentally modifying images and seeing how the model reacts. Our system allows users to compare and contrast what image regions humans and machine learning models use for classification, revealing a wide range of surprising results ranging from spectacular failures (e.g., a "water bottle" image becomes a "concert" when removing a person) to impressive resilience (e.g., a "baseball player" image remains correctly classified even without a glove or base). We demonstrate our system at The 2018 Conference on Computer Vision and Pattern Recognition (CVPR) for the audience to try it live. Our system is open-sourced at https://github.com/poloclub/interactive-classification. A video demo is available at https://youtu.be/llub5GcOF6w.

연구 동기 및 목표

• 딥러닝 이미지 분류기가 의미 있는 이미지 수정에 어떻게 반응하는지 탐색할 수 있도록 접근 가능하고 상호작용 가능한 시스템을 개발한다.
• 사용자가 선택한 이미지 수정과 모델 예측을 비교함으로써 인간과 모델 간의 인식 차이를 드러낸다.
• 보정과 분류를 통해 실시간 피드백을 제공함으로써 모델의 내성성과 민감도에 대한 직관적 이해를 가능하게 한다.
• 실제 이미지를 대상으로 사용자가 주도하는 '만약에' 실험을 통해 딥러닝 모델의 한계와 강점을 입증한다.
• 해당 시스템을 오픈소스로 제공하여 해석 가능한 AI 분야의 연구 및 교육에 널리 활용할 수 있도록 한다.

제안 방법

• 시스템은 React.js를 사용하여 이미지 편집을 위한 상호작용 가능한 브라우저 기반 인터페이스를 제공한다.
• TensorFlow.js를 통해 사전 훈련된 SqueezeNet 및 MobileNet 모델을 브라우저에서 실시간으로 추론한다.
• 사용자가 선택한 이미지 영역을 제거하기 위해 두 가지 보정 알고리즘—Telea(빠르며 자바스크립트로 구현됨)와 PatchMatch(고품질, 파이썬 서버를 통한 구현)—을 사용한다.
• 분류에 사용된 이미지 영역을 시각화하기 위해 필요에 따라 클래스 활성화 맵을 계산한다.
• 사용자는 보정할 영역을 선택하고, 시스템은 즉각적으로 수정된 이미지를 재분류하여 최상위 5개 예측 결과를 업데이트하여 표시한다.
• 시스템은 웹 애플리케이션으로 배포되어 서버 측 모델 추론 없이 완전히 클라이언트 측에서 작동한다.

실험 결과

연구 질문

• RQ1 딥러닝 이미지 분류기는 보통의 객체를 제거하는 등의 의미 있는 이미지 수정에 어떻게 반응하는가?
• RQ2 모델은 특정 시각적 특징에 얼마나 의존하는가? 인간의 인식과 비교해 볼 때 어떠한가?
• RQ3 사용자가 실시간으로 이미지를 상호작용적으로 수정할 때 어떤 종류의 내성성과 실패 모드가 나타나는가?
• RQ4 정적 분석으로는 탐지할 수 없는 모델의 취약점을 상호작용적이고 사용자 주도적인 실험을 통해 드러낼 수 있는가?
• RQ5 다른 보정 기법은 수정된 상황에서 모델 행동의 현실성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 보트의 마스트를 제거한 후 선착장 이미지가 오션 라이너로 잘못 분류되는 등, 모델의 내성성에 심각한 실패 사례가 드러났다.
• 야구 선수 이미지에서 공, 장갑, 주자 기준선을 제거한 후에도 여전히 '야구 선수'로 정확하게 분류되는 등, 모델의 강력한 내성성이 확인되었다.
• 시스템은 모델이 미세한 의미적 변화—예를 들어 보트의 마스트만 제거하는 것—에도 속임을 당할 수 있음을 드러냈다.
• 클래스 활성화 맵은 모델이 핵심 객체가 아닌 눈에 띄는 비필수적 요소들—예를 들어 마스트나 배경 요소—에 주로 의존하는 경향이 있음을 보여주었다.
• 사용자 주도의 보정과 실시간 분류의 조합을 통해 최신 기술의 모델에서 놀라운 실패 사례와 내성적인 행동을 동시에 발견할 수 있었다.
• 오픈소스 시스템을 통해 재현 가능하고 상호작용적인 모델 행동 탐색이 가능해졌으며, 이는 해석 가능한 AI 분야의 교육 및 연구를 지원한다.