[논문 리뷰] When and Why does a Model Fail? A Human-in-the-loop Error Detection Framework for Sentiment Analysis

Zhe Liu, Yufan Guo외 1명|arXiv (Cornell University)|2021. 06. 02.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 5

한 줄 요약

이 논문은 설명 가능한 특징을 사용하여 오류 있는 모델 예측을 식별하는 인간이 개입하는 오류 탐지 프레임워크를 제안한다. 전역 특징 중요도 평가와 국소 특징 기여 분석을 결합함으로써, 최소한의 인간 노력으로도 미리 보지 않은 데이터에서 고정밀도 오류 탐지를 달성하며, 상위 100개 예측에서 정밀도가 불확실성 샘플링보다 11个百分点 높다.

ABSTRACT

Although deep neural networks have been widely employed and proven effective in sentiment analysis tasks, it remains challenging for model developers to assess their models for erroneous predictions that might exist prior to deployment. Once deployed, emergent errors can be hard to identify in prediction run-time and impossible to trace back to their sources. To address such gaps, in this paper we propose an error detection framework for sentiment analysis based on explainable features. We perform global-level feature validation with human-in-the-loop assessment, followed by an integration of global and local-level feature contribution analysis. Experimental results show that, given limited human-in-the-loop intervention, our method is able to identify erroneous model predictions on unseen data with high precision.

연구 동기 및 목표

• 배포된 감성 분석 모델에서 오류 있는 예측을 사전에 탐지하여 해를 입히는 것을 방지하는 데 목적이 있다.
• 비용이 많이 들고 인스턴스 수준의 인간 레이블링에 의존하는 것을 줄이기 위해 전역 특징 수준에서 인간 평가를 가능하게 하는 데 목적이 있다.
• 왜 예측이 실패했는지 설명 가능한 이유를 제공함으로써 모델의 책임성과 투명성을 향상시키는 데 목적이 있다.
• 기존의 불확실성 샘플링이 실패하는 고신뢰도 예측에서도 오류를 사전에 탐지하는 데 목적이 있다.
• 지식 기반의 지식 없이도 지속 가능한, 효율적인 오류 탐지 방법을 통해 미리 보지 않은 데이터에 일반화되는 방법을 제공하는 데 목적이 있다.

제안 방법

• 프레임워크는 데이터 변형을 통해 각 인스턴스의 국소 특징 기여도를 계산하여 특징이 예측에 미치는 영향을 측정한다.
• 테스트 세트 전체에 걸쳐 국소 기여도를 집계하여 전역 특징 중요도 점수를 도출함으로써 일관되게 영향을 미치는 특징을 식별한다.
• 인간 평가자가 상위 전역 특징의 감성 클래스에 대한 관련성을 평가하고, 관련성 없거나 오해의 소지가 있는 특징을 경고한다.
• 전역 특징 관련성과 국소 예측 신뢰도를 조합하여 오류 점수를 계산하고, 임계값 기반의 경고 메커니즘을 사용한다.
• 인스턴스 수준이 아닌 특징 수준에서 인간의 개입을 활용함으로써 레이블링 부담을 감소시킨다.
• 전역 분석과 국소 분석을 통합하여 모델의 신뢰도가 높을 때조차도 오류를 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 최소한의 인간 간섭으로 감성 분석 모델의 오류 예측을 어떻게 탐지할 수 있는가?
• RQ2 전역 특징 수준의 인간 평가가 오류 탐지의 효율성과 정확도에서 인스턴스 수준의 레이블링을 능가할 수 있는가?
• RQ3 불확실성 샘플링이 놓치는 오류, 특히 고신뢰도 예측에서 오류를 탐지할 수 있는가?
• RQ4 전역 특징 관련성과 국소 예측 기여도의 통합은 모델 실패를 식별하는 데 얼마나 효과적인가?
• RQ5 문제적인 전역 특징을 통해 모델 편향을 탐지할 수 있는가?

주요 결과

• 제안된 방법은 K=100일 때 82.0%의 정밀도@K를 달성하여, 불확실성 샘플링의 71.0% 정밀도@K를 크게 뛰어넘었다.
• K=400일 때 두 방법 간의 정밀도 격차는 단지 0.6%로 좁혀졌으며, 이는 임계값을 완화함에 따라 수익 감소 현상이 나타남을 시사한다.
• 프레임워크가 탐지한 오류 인스턴스 약 40%는 예측 확률이 0.7 이상이었으며, 이는 모델이 매우 확신할 때조차도 오류를 탐지할 수 있음을 보여준다.
• 비전문가 포함한 인간 평가자들이 전역 특징 관련성 평가에서 높은 상호 평가 일致도를 보였으며, 특징 수준의 레이블링의 실현 가능성을 입증했다.
• 프레임워크는 'netflix', 'dems', 'palestine'와 같은 문제적인 전역 특징이 부정적 감성과 잘못 연결되어 있음을 성공적으로 식별했다.
• 지식 기반의 지식 없이도 지속 가능한 모델 개선을 지원하기 위해, 지도 없는 상태에서의 미리 보지 않은 데이터에 대한 오류 사전 탐지가 가능하다.