[논문 리뷰] Mitigating Uncertainty in Document Classification

Xuchao Zhang, Fanglan Chen외 2명|arXiv (Cornell University)|2019. 07. 17.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 5

한 줄 요약

이 논문은 제한된 인간 전문가가 예측의 불확실성에 대해 검토할 수 있는 상황에서 문서 분류 정확도를 향상시키기 위해 드롭아웃-엔트로피 불확실성 추정과 메트릭 학습을 결합한 딥 네ural 네트워크 모델을 제안한다. 학습된 특징 공간의 클러스터링을 통해 예측 분산을 줄임으로써, 20NewsGroup 데이터셋에서 예측의 30%가 인간에 의해 검토될 때 매크로-F1을 0.78에서 0.92로 향상시킨다.

ABSTRACT

The uncertainty measurement of classifiers' predictions is especially important in applications such as medical diagnoses that need to ensure limited human resources can focus on the most uncertain predictions returned by machine learning models. However, few existing uncertainty models attempt to improve overall prediction accuracy where human resources are involved in the text classification task. In this paper, we propose a novel neural-network-based model that applies a new dropout-entropy method for uncertainty measurement. We also design a metric learning method on feature representations, which can boost the performance of dropout-based uncertainty methods with smaller prediction variance in accurate prediction trials. Extensive experiments on real-world data sets demonstrate that our method can achieve a considerable improvement in overall prediction accuracy compared to existing approaches. In particular, our model improved the accuracy from 0.78 to 0.92 when 30\% of the most uncertain predictions were handed over to human experts in "20NewsGroup" data.

연구 동기 및 목표

• 제한된 인간 전문가가 불확실한 예측에 대해 검토할 수 있는 상황에서 텍스트 분류의 전체 예측 정확도를 향상시키는 데 도전하는 것.
• 단순히 불확실성 정량화에 집중하는 것이 아니라, 가장 불확실한 예측을 우선적으로 인간 검토에 배정하는 신뢰할 수 있는 불확실성 추정 방법을 개발하는 것.
• 메트릭 학습을 통해 더 나은 특징 표현을 학습시켜 모델 예측의 강건성과 신뢰도를 향상시키는 것.
• 이미 존재하는 방법들이 이산적인 텍스트 데이터를 처리하지 못하거나 기울기 기반의 적대적 훈련에 의존하는 등의 한계를 극복하는 것.
• 불확실성 인식 딥 러닝과 인간이 참여하는 워크플로우를 통합하여 확장 가능하고 정확한 문서 분류를 가능하게 하는 것.

제안 방법

• 드롭아웃의 베이지안 근사 성질을 활용하여, 드롭아웃를 적용한 다중 전방 전파를 통해 엔트로피를 이용해 모델 불확실성 추정을 수행하는 새로운 드롭아웃-엔트로피 방법을 도입한다.
• 특징 표현 공간에 메트릭 학습을 적용하여 동일 클래스 간의 거리를 최소화하고, 이질 클래스 간의 거리를 최대화함으로써 예측 분산을 감소시킨다.
• 드롭아웃 추론 중에 노이즈 제거 마스크 연산을 사용하여 불확실성 추정을 안정화하고 신뢰도를 향상시킨다.
• 불확실성 추정을 엔드 투 엔드 훈련과 통합하여, 역전파 동안 불확실성 인식 손실 최적화를 가능하게 한다.
• 일반화성과 불확실성 校정을 향상시키기 위해 마진 기반 메트릭 학습 목표와 함께 교차 엔트로피 손실을 사용해 모델을 훈련시킨다.
• t-SNE 시각화를 통해 메트릭 학습이 임베딩 공간에서 이질 클래스 간 분리도를 향상시킨다는 것을 정성적으로 검증한다.

실험 결과

연구 질문

• RQ1 인간 전문가가 가장 불확실한 예측의 일부만 검토할 수 있는 상황에서 드롭아웃-엔트로피 불확실성 추정을 갖춘 딥 러닝 모델이 전체 분류 정확도를 향상시킬 수 있는가?
• RQ2 특징 표현에 대한 메트릭 학습이 텍스트 분류에서 불확실성 추정의 분산과 신뢰도에 어떤 영향을 미치는가?
• RQ3 소수의 예측만 인간에 의해 검토될 때, 제안된 방법이 기존의 불확실성 추정 기법들—특히 F1 스코어 측면에서—을 초월하는가?
• RQ4 메트릭 마진 및 단어 임베딩 초기화와 같은 하이퍼파라미터에 대해 성능이 얼마나 민감한가?
• RQ5 사전 학습된 단어 임베딩(GloVe 등)이 불확실성 및 메트릭 학습 구성 요소의 효과를 얼마나 향상시키는가?

주요 결과

• 제안된 DE+메트릭 방법은 20NewsGroup 데이터셋에서 예측의 30%가 인간 전문가에 의해 검토되었을 때 매크로-F1을 0.78에서 0.92로 향상시켰다.
• 기준 드롭아웃 방법 대비 30% 불확실성 비율에서 마이크로-F1이 5% 향상되어 0.851에서 0.892로 상승하였다.
• 메트릭 학습은 모든 불확실성 비율에서 일관되게 성능 향상을 이끌었으며, 특히 다중 클래스 설정에서 가장 큰 성과를 기록하였다.
• 메트릭 마진 값이 10 이하일 경우 성능이 안정되었으며, 마진이 10를 초과하면 성능 저하가 발생하였다.
• GloVe 기반 단어 임베딩은 랜덤 초기화 대비 20% 불확실성 비율에서 F1 스코어를 0.29 향상시켰고, 랜덤 초기화 대비 0.04의 향상에 그쳤다.
• t-SNE 시각화 결과 메트릭 학습이 특징 공간에서 이질 클래스 간 거리를 크게 증가시켜 정확한 예측의 불확실성 분산을 감소시켰다는 것이 확인되었다.