[논문 리뷰] Human-in-the-loop Extraction of Interpretable Concepts in Deep Learning Models

Zhenge Zhao, Panpan Xu외 2명|arXiv (Cornell University)|2021. 08. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 51인용 수 6

한 줄 요약

이 논문은 최소한의 레이블링 노력으로 딥 러닝 모델에서 해석 가능한 시각적 개념을 효율적으로 추출할 수 있도록 도와주는 인간이 개입하는 주도적 학습 프레임워크를 제안한다. 인간의 피드백을 개념 추출에 통합함으로써 모델의 해석 가능성 향상, 성능 저하를 유발하는 특징 식별, 일관되게 모델 정확도를 높이는 데이터 증강이 가능해진다.

ABSTRACT

The interpretation of deep neural networks (DNNs) has become a key topic as more and more people apply them to solve various problems and making critical decisions. Concept-based explanations have recently become a popular approach for post-hoc interpretation of DNNs. However, identifying human-understandable visual concepts that affect model decisions is a challenging task that is not easily addressed with automatic approaches. We present a novel human-in-the-loop approach to generate user-defined concepts for model interpretation and diagnostics. Central to our proposal is the use of active learning, where human knowledge and feedback are combined to train a concept extractor with very little human labeling effort. We integrate this process into an interactive system, ConceptExtract. Through two case studies, we show how our approach helps analyze model behavior and extract human-friendly concepts for different machine learning tasks and datasets and how to use these concepts to understand the predictions, compare model performance and make suggestions for model refinement. Quantitative experiments show that our active learning approach can accurately extract meaningful visual concepts. More importantly, by identifying visual concepts that negatively affect model performance, we develop the corresponding data augmentation strategy that consistently improves model performance.

연구 동기 및 목표

• 딥 뉴럴 네트워크 결정에 영향을 주는 인간이 이해할 수 있는 시각적 개념을 식별하는 데 도전하는 데 목적을 두다.
• 인간 피드백을 활용한 주도적 학습을 통해 개념 추출 시 인간의 레이블링 노력 최소화.
• 사용자가 정의한 개념을 활용해 모델 진단 및 개선을 지원하는 상호작용형 시스템 개발.
• 데이터 증강을 통해 부정적인 시각적 개념의 영향을 식별하고 제거함으로써 모델 성능 향상.
• 다양한 데이터셋과 작업에서 해석 가능하고 사용자 중심의 모델 행동 분석 가능화.

제안 방법

• 주도적 학습을 활용해 인간 레이블링을 위한 가장 정보가 풍부한 샘플을 반복적으로 선택함으로써 필요한 애너테이션 수를 최소화.
• 사용자 레이블링 데이터를 사용해 모델 예측과 관련된 시각적 개념을 식별할 수 있도록 개념 추출기 학습.
• 실시간으로 사용자가 개념을 레이블링하고 개선할 수 있는 상호작용형 시스템 ConceptExtract를 통해 피드백을 모델에 통합.
• 사용자가 정의한 개념을 활용해 모델 행동 분석, 편향 탐지 및 모델 개선 유도.
• 성능에 악영향을 주는 부정적 개념을 식별하고 이를 바탕으로 타겟된 데이터 증강 전략 설계.
• 다양한 데이터셋과 작업에서 평가하여 프레임워크의 확장성과 효과성 입증.

실험 결과

연구 질문

• RQ1 인간이 개입하는 주도적 학습은 어떻게 의미 있는 해석 가능한 시각적 개념을 추출하면서도 레이블링 노력을 줄일 수 있는가?
• RQ2 사용자가 정의한 개념은 모델의 해석 가능성과 진단 능력 향상에 어느 정도 기여하는가?
• RQ3 식별된 부정적 시각적 개념은 효과적인 데이터 증강 전략 수립에 활용될 수 있는가?
• RQ4 정확도와 해석 가능성 측면에서 전적으로 자동 개념 추출 기법과 비교해 본다면 제안된 방법은 어떻게 성과를 내는가?
• RQ5 추출된 개념은 모델 성능 향상과 일반화 능력 향상에 어떤 방식으로 기여하는가?

주요 결과

• 주도적 학습 접근법은 최소한의 인간 레이블링으로 의미 있는 시각적 개념을 높은 정확도로 추출했다.
• 시스템은 모델 성능에 악영향을 주는 시각적 개념을 성공적으로 식별했다.
• 식별된 부정적 개념 기반 데이터 증강은 모델 정확도 향상에 일관되게 기여했다.
• 다양한 데이터셋과 작업에서 효과적인 모델 진단 및 개선이 가능했다.
• 사용자 피드백은 추출된 개념의 해석 가능성과 관련성 향상에 크게 기여했다.
• 프레임워크는 실제 모델 해석 시나리오에서 확장성과 실용성을 입증했다.