[논문 리뷰] HAMLET: Interpretable Human And Machine co-LEarning Technique

Olivier Deiss, Siddharth Biswal외 4명|arXiv (Cornell University)|2018. 03. 26.

EEG and Brain-Computer Interfaces참고 문헌 8인용 수 11

한 줄 요약

HAMLET는 전문가 피드백과 해석 가능한 기준 임베딩을 통해 반복적으로 레이블을 정밀하게 다듬는 인간-기계 공동학습 프레임워크로, 노이즈가 많고 레이블링이 어려운 의료 데이터에서 딥러닝 성능을 향상시킵니다. 신경망 임베딩, 기준 패턴의 메모리 모듈, 그리고 설명 가능한 피드백을 결합하여 연속적인 뇌파(EEG) 데이터에서 분류 정확도를 7.03%에서 68.75%로 향상시킵니다. 이는 모델 정확도 향상과 임상적 해석 가능성 향상을 동시에 달성합니다.

ABSTRACT

Efficient label acquisition processes are key to obtaining robust classifiers. However, data labeling is often challenging and subject to high levels of label noise. This can arise even when classification targets are well defined, if instances to be labeled are more difficult than the prototypes used to define the class, leading to disagreements among the expert community. Here, we enable efficient training of deep neural networks. From low-confidence labels, we iteratively improve their quality by simultaneous learning of machines and experts. We call it Human And Machine co-LEarning Technique (HAMLET). Throughout the process, experts become more consistent, while the algorithm provides them with explainable feedback for confirmation. HAMLET uses a neural embedding function and a memory module filled with diverse reference embeddings from different classes. Its output includes classification labels and highly relevant reference embeddings as explanation. We took the study of brain monitoring at intensive care unit (ICU) as an application of HAMLET on continuous electroencephalography (cEEG) data. Although cEEG monitoring yields large volumes of data, labeling costs and difficulty make it hard to build a classifier. Additionally, while experts agree on the labels of clear-cut examples of cEEG patterns, labeling many real-world cEEG data can be extremely challenging. Thus, a large minority of sequences might be mislabeled. HAMLET has shown significant performance gain against deep learning and other baselines, increasing accuracy from 7.03% to 68.75% on challenging inputs. Besides improved performance, clinical experts confirmed the interpretability of those reference embeddings in helping explaining the classification results by HAMLET.

연구 동기 및 목표

• 복잡하고 모호한 데이터(예: 연속 EEG)에서 전문가 레이블링이 비용이 많이 들고 일관성이 없기 때문에, 의료 AI에서 고품질 레이블 확보의 과제를 해결한다.
• 저자료, 고노이즈 환경에서 표준 딥러닝의 한계를 극복하기 위해 인간 전문가와 기계 모델 간의 협업을 통해 반복적으로 레이블을 정밀하게 다듬는 방식을 제공한다.
• 분류 결정 원리를 설명하는 기준 임베딩을 제공함으로써 모델의 해석 가능성 향상과 전문가의 재평가 및 레이블 일관성 향상 지원.
• 실제 임상 데이터에서의 성능 향상을 크게 향상시키면서도 전문가 검토가 필요한 샘플 수를 줄일 수 있는 확장성 있고 효율적인 레이블링 프레임워크 개발.

제안 방법

• 다양한 클래스의 기준 임베딩을 저장하는 메모리 모듈을 갖춘 딥 네트워크를 사용하여 유사도 기반 분류를 지원한다.
• 신경망 임베딩 함수를 적용하여 입력 시퀀스를 공통된 임베딩 공간으로 매핑함으로써 의미적 유사도가 클래스 유사도를 반영하도록 한다.
• 모델이 저신뢰도 예측을 식별하고 전문가 재평가를 제안하는 공동학습 루프를 구현하며, 엔트로피, 마진 샘플링, 신뢰도 임계값 등 피드백 전략을 사용한다.
• 재평가 중 전문가에게 가장 관련성이 높은 기준 임베딩(유사도 점수 최고)을 검색하고 표시하여 해석 가능한 설명을 제공한다.
• 개선된 레이블을 사용해 모델을 미세조정함으로써 모델 정확도와 전문가 레이블 일관성을 반복적으로 향상시킨다.
• 최종 예측에 각 기준 임베딩이 기여하는 정도를 측정하기 위해 밀집층에서 애 attention 유사 가중치를 사용하여 각 클래스별로 해석 가능성 점수를 제공한다.

실험 결과

연구 질문

• RQ1 인간-기계 공동학습 프레임워크는 어려운 의료 데이터에서의 레이블링 비용을 줄이면서도 모델 정확도를 향상시킬 수 있는가?
• RQ2 기준 임베딩을 통한 모델 생성 설명은 전문가의 일관성과 재평가 효율성을 어떻게 향상시키는가?
• RQ3 저신뢰도 예측의 반복적 정밀화가 실제 EEG 데이터에서의 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 고신뢰도, 마진 샘플링, 엔트로피 중 어떤 기계 피드백 전략이 전문가 재평가가 필요한 샘플을 가장 효과적으로 식별하는가?
• RQ5 모델의 해석 가능성은 정량화 가능하며, 특히 모호하거나 다양성이 큰 클래스의 경우 분류 성능와 어떻게 연관되는가?

주요 결과

• HAMLET-CNN는 837개의 전문가 재수정 시퀀스 이후에도 연속적인 EEG 데이터에서 분류 정확도를 7.03%에서 68.75%로 크게 향상시켰다.
• 주의 가중치를 통해 모델의 해석 가능성은 정량화되었으며, LRDA의 상위 16개 기준 임베딩 중 75%와 GRDA의 68.75%가 같은 클래스에 속해 있어, 학습된 주의 가중치와 정확한 분류 간 강한 일치를 보였다.
• 엔트로피 기반 피드백 전략이 제안된 재평가에서 가장 높은 전문가 일치도(93.75%)를 기록하여 고신뢰도 및 마진 샘플링 방법을 모두 능가했다.
• 혼동 행렬 분석 결과, 공동학습 이후 모델은 LRDA와 LPD를 경련으로 잘못 분류하는 것을 줄였고, 전체 정확도는 향상되었지만 경련 인식률은 略로 감소했다.
• 해석 가능성 점수는 성능과 상관관계를 보였다: 해석 가능성 수준이 낮은 클래스(예: 경련의 경우 37.50%)는 분류 정확도도 가장 열 劣하였으며, 이는 유사도 점수에 기반한 모델 의존성이 신뢰할 만한 예측을 위해 필수적임을 시사한다.
• HAMLET-CNN 모델은 비지도 학습 기반 CAE 베이스라인과 표준 MLP를 모두 능가하여, 이 프레임워크에서 공동학습 및 해석 가능성 요소의 가치를 확인했다.