[논문 리뷰] Exemplar Auditing for Multi-Label Biomedical Text Classification

Allen Schmaltz, Andrew L. Beam|arXiv (Cornell University)|2020. 04. 07.

Text and Document Classification Technologies참고 문헌 16인용 수 7

한 줄 요약

이 논문은 다중 레이블 생물의학 텍스트 분류를 위한 해석 가능한 방법인 Exemplar Auditing을 제안한다. 이는 이진 레이블링을 확장하는 컨volutional decomposition (BLADE) 기법을 다중 레이블 설정으로 확장한 것으로, 테스트 시점 예측을 진짜 양성, 거짓 음성, 거짓 양성, 진짜 음성 대표자들과의 정규화된 거리 기반으로 가장 가까운 훈련 예시에 연결함으로써 모델의 내省 기능을 가능하게 하고 임상적 해석 가능성을 향상시킨다. 이는 MIMIC-III EHR 데이터에서 경쟁적인 분류 성능를 유지하면서도 이루어진다.

ABSTRACT

Many practical applications of AI in medicine consist of semi-supervised discovery: The investigator aims to identify features of interest at a resolution more fine-grained than that of the available human labels. This is often the scenario faced in healthcare applications as coarse, high-level labels (e.g., billing codes) are often the only sources that are readily available. These challenges are compounded for modalities such as text, where the feature space is very high-dimensional, and often contains considerable amounts of noise. In this work, we generalize a recently proposed zero-shot sequence labeling method, "binary labeling via a convolutional decomposition", to the case where the available document-level human labels are themselves relatively high-dimensional. The approach yields classification with "introspection", relating the fine-grained features of an inference-time prediction to their nearest neighbors from the training set, under the model. The approach is effective, yet parsimonious, as demonstrated on a well-studied MIMIC-III multi-label classification task of electronic health record data, and is useful as a tool for organizing the analysis of neural model predictions and high-dimensional datasets. Our proposed approach yields both a competitively effective classification model and an interrogation mechanism to aid healthcare workers in understanding the salient features that drive the model's predictions.

연구 동기 및 목표

• 정밀한 레이블이 제공되지 않은 고차원적이고 노이즈가 많은 생물의학 텍스트 데이터에서 블랙박스 신경망 모델의 해석 문제를 해결하기 위해.
• 전자 건강 기록을 위한 이진 제로샷 시퀀스 레이블링 방법 BLADE를 다중 레이블 분류로 확장하기 위해.
• 대표적인 훈련 예시와의 상대적 거리를 사용하여 인간이 이해할 수 있는 모델 예측 감시 메커니즘을 개발하기 위해.
• 국소화된 특징과 거리 기반 정규화를 활용해 임상의와 연구자들이 모델 결정에 대해 직관적이고 특징 수준의 통찰을 얻을 수 있도록 하기 위해.
• 고위험 의료 데이터셋에서 발견된 패턴의 검증과 레이블 불일치 탐지를 가능하게 하기 위해.

제안 방법

• 문서 수준의 예측을 토큰 수준의 특징 점수로 매핑하기 위해 컨볼루션 분해를 적용함으로써 BLADE 프레임워크를 다중 레이블 분류로 확장한다.
• 희소성을 장려하는 손실 함수를 사용하여 주목할 만한 토큰에 집중되는 국소화된 주의를 유도함으로써 세밀한 특징 탐지 기능을 제공한다.
• 학습된 CNN을 역으로 전개하여 각 레이블 클래스의 대표 벡터를 추출하고, 가장 가까운 훈련 인스턴스로부터 예시를 구성한다.
• 테스트 인스턴스의 특징에서 각 유형(진짜 양성, 거짓 음성, 거짓 양성, 진짜 음성)의 가장 가까운 예시까지의 정규화된 거리를 계산한다.
• 이 정규화된 거리에 대한 소프트맥스 분포를 각 레이블 예측의 신뢰도 신호로 사용한다.
• 지역(토큰 수준) 및 전역(문서 수준) 손실 신호를 통합된 훈련 목표로 조합하여 정밀도와 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 컨볼루션 분해 기법이 이진 분류에서 다중 레이블 생물의학 텍스트 분류로 효과적으로 확장될 수 있는가? 이때 해석 가능성은 유지되는가?
• RQ2 대표적인 훈련 예시(TP, FN, FP, TN)와의 상대적 거리가 레이블 수준 및 인스턴스 수준에서 모델 예측의 신뢰도를 어떻게 정보를 제공하는가?
• RQ3 예시 감시 기법이 주의 메커니즘 또는 계수 기반 방법보다 더 직관적이고 임상적으로 활용 가능한 모델 예측의 해석을 제공할 수 있는가?
• RQ4 제안된 방법은 고차원적이고 노이즈가 많은 EHR 데이터에서 내성 기능을 제공하면서도 경쟁적인 분류 성능를 유지하는가?
• RQ5 이 방법은 거리 기반 분석을 통해 훈련 데이터의 레이블 불일치나 이상치를 탐지할 수 있는가?

주요 결과

• 제안된 Exemplar Auditing 방법은 MIMIC-III 다중 레이블 EHR 분류 벤치마크에서 경쟁적인 분류 성능를 달성한다.
• 가장 가까운 예시(TP, FN, FP, TN)까지의 정규화된 거리는 인스턴스 수준 및 레이블 수준에서 예측의 신뢰도를 평가하는 데 유용하고 직관적인 신호를 제공한다.
• 이 방법은 테스트 시점 예측을 특정 대표 훈련 예시에 연결함으로써 모델 내성 기능을 가능하게 하여 임상의의 해석 가능성을 향상시킨다.
• 예시 감시 기법은 주의 기반 방법보다 국소화되고 특징 기반의 설명을 더 잘 제공하여 임상 의사결정 과정에서 인간의 사고 방식과 더 잘 부합한다.
• 이 방법은 예측을 이끄는 주요 특징을 성공적으로 식별하고, 알려진 훈련 데이터와의 비교를 통해 모델 행동의 검증이 가능하다.
• 이 방법은 명시적인 세밀한 레이블이 없어도 효과적으로 작동하므로, 이러한 레이블이 희귀한 실제 의료 NLP 환경에 적합하다.