[논문 리뷰] Interpretable machine learning applied to on-farm biosecurity and porcine reproductive and respiratory syndrome virus

Abagael L. Sykes, Gustavo S. Silva외 5명|arXiv (Cornell University)|2021. 06. 11.

Animal Virus Infections Studies참고 문헌 96인용 수 23

한 줄 요약

이 연구는 돼지 농장의 생물안전 관리 관행과 농장 인구통계학적 특성을 사용하여 돼지 생식기능 및 호흡기 증후군 바이러스(PRRSV) 유행 위험을 예측하는 해석 가능한 기계학습 툴킷인 MrIML-biosecurity를 개발한다. 국소적 및 글로벌 모델 해석을 적용하여 직원 이탈, 공유 운반 트럭, 다른 돼지 농장과의 거리와 같은 핵심 위험 요인을 규명함으로써, 질병 예방을 위한 데이터 기반의 농장 맞춤형 생물안전 기준 설정과 실행 가능한 통찰을 가능하게 한다.

ABSTRACT

Effective biosecurity practices in swine production are key in preventing the introduction and dissemination of infectious pathogens. Ideally, biosecurity practices should be chosen by their impact on bio-containment and bio-exclusion, however quantitative supporting evidence is often unavailable. Therefore, the development of methodologies capable of quantifying and ranking biosecurity practices according to their efficacy in reducing risk have the potential to facilitate better informed choices. Using survey data on biosecurity practices, farm demographics, and previous outbreaks from 139 herds, a set of machine learning algorithms were trained to classify farms by porcine reproductive and respiratory syndrome virus status, depending on their biosecurity practices, to produce a predicted outbreak risk. A novel interpretable machine learning toolkit, MrIML-biosecurity, was developed to benchmark farms and production systems by predicted risk, and quantify the impact of biosecurity practices on disease risk at individual farms. Quantifying the variable impact on predicted risk 50% of 42 variables were associated with fomite spread while 31% were associated with local transmission. Results from machine learning interpretations identified similar results, finding substantial contribution to predicted outbreak risk from biosecurity practices relating to: the turnover and number of employees; the surrounding density of swine premises and pigs; the sharing of trailers; distance from the public road; and production type. In addition, the development of individualized biosecurity assessments provides the opportunity to guide biosecurity implementation on a case-by-case basis. Finally, the flexibility of the MrIML-biosecurity toolkit gives it potential to be applied to wider areas of biosecurity benchmarking, to address weaknesses in other livestock systems and industry relevant diseases.

연구 동기 및 목표

• 돼지 생산 분야에서 현장 생물안전 관행에 대한 정량적이고 증거 기반의 기준 설정이 부족한 문제를 해결하기 위해.
• 개별 생물안전 관행이 PRRSV 유행 위험에 미치는 영향을 정량화하고 순위를 매기는 방법론을 개발하기 위해.
• 농장 수준 및 시스템 수준의 위험 평가 및 생물안전 최적화를 지원하는 해석 가능한 기계학습 도구를 만들기 위해.

제안 방법

• 139개의 돼지 떼를 대상으로 설문 조사 자료를 기반으로 기계학습 알고리즘을 훈련하여 생물안전 관행과 농장 인구통계학적 특성에 따라 PRRSV 상태를 분류한다.
• 해석 가능한 기계학습을 위한 MrIML 프레임워크를 확장한 전용 툴킷인 MrIML-biosecurity를 개발한다.
• 전체적으로 농장 및 생산 체계 전반에서 PRRSV 위험 예측에 있어 변수의 중요도를 순위 매기기 위해 글로벌 기준 기반 분석을 시행한다.
• 각 농장의 개별 생물안전 관행이 예측된 유행 위험에 기여하는 정도를 정량화하기 위해 국소적 모델 독립적 해석(예: SHAP 값)을 적용한다.
• 각 변수가 예측된 유행 위험에 기여하는 방향성과 크기를 시각화하기 위해 산산이 흩트린 그림과 워터폴 플롯을 생성한다.
• Matthew의 상관계수(MCC), 특이도, 민감도 및 AUC와 같은 지표를 사용하여 모델 성능을 검증한다.

실험 결과

연구 질문

• RQ1 현장 생물안전 관행과 인구통계적 요인이 PRRSV 유행 예측 위험에 가장 크게 영향을 주는 요소는 무엇인가?
• RQ2 해석 가능한 기계학습을 어떻게 활용하여 개별 생물안전 관행이 농장 수준에서 질병 위험에 미치는 영향을 순위 매기고 정량화할 수 있는가?
• RQ3 공유 장비, 직원 이탈, 다른 돼지 농장과의 거리가 PRRSV 위험 예측에 어느 정도 기여하는가?
• RQ4 모델 해석을 통해 최근 유행이 발생한 농장과 발생하지 않은 농장 간의 실행 가능한 차이를 드러낼 수 있는가?
• RQ5 MrIML-biosecurity 툴킷은 다양한 생산 체계에서 개인 맞춤형 생물안전 평가 및 기준 설정을 어떻게 지원하는가?

주요 결과

• 분석된 42개 변수 중 50%는 물체를 통한 전파와 관련이 있었고, 31%는 지역 전파 경로와 연결되어 있었다.
• 주요 위험 요인으로는 높은 직원 이탈률, 공유 운반 트럭, 공용 도로와의 거리, 지역 내 돼지 농장의 밀도가 높은 것 등이 있었다.
• 월간 수의사 및 관리자 방문 횟수가 위험에 대해 부정적인 기여를 보이며, 보호 효과를 나타내었다.
• 결과적으로, PRRSV 양성 동물을 운반하는 도축 또는 이식용 번식 동물 트럭을 사용한 농장은 예측된 유행 위험이 유의미하게 증가하였다.
• 국소적 해석을 통해 각 농장에서 예측된 위험에 가장 기여하는 관행이 상이함을 확인하여, 사례별 생물안전 우선순위 설정이 가능했다.
• MrIML-biosecurity 툴킷은 높은 MCC, 특이도, 민감도 및 AUC를 기록하여 강력한 예측 성능을 보이며, 위험 기준 설정에 있어 신뢰성 있음을 확인하였다.