[논문 리뷰] Student-Teacher Curriculum Learning via Reinforcement Learning: Predicting Hospital Inpatient Admission Location

Rasheed El-Bouri, David W. Eyre외 3명|arXiv (Cornell University)|2020. 07. 01.

Online Learning and Analytics참고 문헌 24인용 수 12

한 줄 요약

이 논문은 학생의 내부 가중치 표현을 상태 신호로 사용하여 병원 입원 예측을 위한 동적 데이터 커리큘럼을 생성하는 학생-교사 강화학습 프레임워크를 제안한다. 교사 네트워크는 엔트로피 순서로 정렬된 데이터 배치를 선택하여 학생의 성능을 최적화하며, 표본화된 의료 데이터에서 최신 기술 성능을 달성하고, 표준 방법을 뛰어넘는 효과적이고 적응형 커리큘럼을 제공한다.

ABSTRACT

Accurate and reliable prediction of hospital admission location is important due to resource-constraints and space availability in a clinical setting, particularly when dealing with patients who come from the emergency department. In this work we propose a student-teacher network via reinforcement learning to deal with this specific problem. A representation of the weights of the student network is treated as the state and is fed as an input to the teacher network. The teacher network's action is to select the most appropriate batch of data to train the student network on from a training set sorted according to entropy. By validating on three datasets, not only do we show that our approach outperforms state-of-the-art methods on tabular data and performs competitively on image recognition, but also that novel curricula are learned by the teacher network. We demonstrate experimentally that the teacher network can actively learn about the student network and guide it to achieve better performance than if trained alone.

연구 동기 및 목표

• 표본화된 데이터 기반의 적응형 커리큘럼 접근법을 통해 병원 입원 예측 정확도를 향상시키는 것.
• 응급실 혼잡도와 자원 제약 문제를 해결하기 위해 조기 환자 분류 예측을 통해 사전에 침대 배정을 가능하게 하는 것.
• 학습자의 내부 상태에 대한 실시간 피드백을 사용하여 학생 네트워크를 지도할 수 있는 교사 네트워크를 개발하는 것.
• 강화학습이 고정되거나 히우리스틱 전략보다 뛰어난 임무 특화 커리큘럼을 생성할 수 있는지 조사하는 것.
• 다양한 의료 예측 과제 간에 학습된 지도 정책의 이식 가능성과 안정성 탐색

제안 방법

• 학습자 네트워크는 엔트로피가 낮은 '더 쉬운' 배치부터 먼저 제시되도록 엔트로피 순서로 정렬된 데이터 배치를 사용하여 훈련된다. 이는 최적화 경로를 개선한다.
• 교사 네트워크는 학습자의 현재 가중치 표현을 상태 입력으로 사용하여 학습자의 학습 진행 상황을 관찰하고 적응할 수 있다.
• 딥 Q네트워크(DQN) 정책은 강화학습을 통해 미래 학습자 성능을 최대화하는 다음 배치를 선택하도록 훈련된다.
• 교사의 행동 공간은 사전에 정렬된 데이터 배치 목록에서 선택하는 것으로 구성되며, 보상은 학습자의 검증 정확도 향상에 따라 형상화된다.
• 학습자의 가중치 표현(단지 기울기나 손실이 아닌)을 상태 신호로 사용함으로써, 교사는 학습자의 내부 상태에서 복잡한 비선형 관계를 학습할 수 있다.
• 정책 이식 평가를 위해, 한 데이터셋(예: Ward Admission)에서 훈련된 교사 정책을 다른 데이터셋(MIMIC-III)에 그대로 적용하고 미세조정 없이 성능을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습을 통해 훈련된 교사 네트워크가 고정되거나 히우리스틱 전략보다 입원 예측을 위한 더 효과적인 데이터 커리큘럼을 생성할 수 있는가?
• RQ2 학습자의 가중치 표현을 상태 입력으로 사용할 경우, 교사는 안정적이고 이식 가능한 지도 정책을 학습할 수 있는가?
• RQ3 표본화된 의료 데이터와 이미지 인식 과제에서 학습자-교사 시스템의 성능이 최신 기술(SOTA) 방법과 비교해 어떻게 되는가?
• RQ4 성능 향상의 '파동' 형태로 나타나는 특징을 통해, 교사 네트워크가 동적으로 커리큘럼을 조정함으로써 국소 최적점에서 벗어나는가?
• RQ5 한 의료 예측 과제에서 훈련된 교사가 미세조정 없이 다른 과제로 성공적으로 이식될 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 학습자-교사 RL 프레임워크는 Ward Admission 표본화된 데이터셋에서 최신 기술 성능을 달성하여 모든 베이스라인 및 SOTA 방법을 능가했다.
• MIMIC-III 데이터셋에서 이식된 교사 정책은 67% ± 1%의 정확도를 기록했으며, 이는 SOTA 방법과 경쟁 가능했고 표준 기준선을 능가했다.
• 교사 네트워크는 '엔트로피 스파이크' 전략을 학습하여 일시적으로 엔트로피가 높은 배치를 선택함으로써 국소 최적점에서 벗어나도록 했으며, 이는 성능 향상의 특징적인 파동을 유도했다.
• 학습자의 가중치 표현에 가우시안 노이즈를 주입하여 정책 안정성을 확인한 결과, 교사의 행동은 일관되게 유지되어 안정적이고 상태 기반의 행동임을 입증했다.
• 다양한 의료 예측 과제 간에 지도 정책의 이식 가능성을 입증하여, 일반화 가능한 지도 전략을 학습할 수 있음을 시사했다.
• 가중치 표현을 상태 입력으로 사용함으로써, 정적 또는 성능 기반 히우리스틱과는 불가능한 복잡한 적응형 커리큘럼을 학습자가 학습할 수 있었다.