[논문 리뷰] Benchmark of structured machine learning methods for microbial identification from mass-spectrometry data

Kévin Vervier, Pierre Mahé외 2명|arXiv (Cornell University)|2015. 06. 24.

Bacterial Identification and Susceptibility Testing참고 문헌 27인용 수 13

한 줄 요약

이 연구는 MALDI-TOF MS 데이터를 사용한 미생물 식별을 위한 구조화된 및 평탄한 기계학습 방법을 벤치마킹하며, 20종의 박테리아 종으로 구성된 공개 데이터셋에서 성능을 평가한다. 계통발생적 계층 구조를 활용하고 있음에도 불구하고, 구조화된 방법이 표준 평탄한 분류기보다 일관되게 뛰어나지 않으며, 주로 속 내 오류가 발생하기 때문이다—정확히 그 유형의 오류가 계층이 가장 효과적으로 교정하지 못하는 영역이다.

ABSTRACT

Microbial identification is a central issue in microbiology, in particular in the fields of infectious diseases diagnosis and industrial quality control. The concept of species is tightly linked to the concept of biological and clinical classification where the proximity between species is generally measured in terms of evolutionary distances and/or clinical phenotypes. Surprisingly, the information provided by this well-known hierarchical structure is rarely used by machine learning-based automatic microbial identification systems. Structured machine learning methods were recently proposed for taking into account the structure embedded in a hierarchy and using it as additional a priori information, and could therefore allow to improve microbial identification systems. We test and compare several state-of-the-art machine learning methods for microbial identification on a new Matrix-Assisted Laser Desorption/Ionization Time-of-Flight mass spectrometry (MALDI-TOF MS) dataset. We include in the benchmark standard and structured methods, that leverage the knowledge of the underlying hierarchical structure in the learning process. Our results show that although some methods perform better than others, structured methods do not consistently perform better than their "flat" counterparts. We postulate that this is partly due to the fact that standard methods already reach a high level of accuracy in this context, and that they mainly confuse species close to each other in the tree, a case where using the known hierarchy is not helpful.

연구 동기 및 목표

• MALDI-TOF MS 데이터를 사용한 미생물 식별 정확도 향상에 구조화된 기계학습 방법이 기여하는지 평가하기 위해.
• 다중분류 문제에 있어서 알려진 계통발생적 계층 구조를 사전 지식으로 통합할 경우의 영향을 조사하기 위해.
• 실제 미생물 데이터셋에서 구조화된 방법과 표준 '평탄한' 다중분류 분류기 간의 성능을 비교하기 위해.
• 계층적 사전 지식을 사용함에도 불구하고 지속적인 분류 오류의 근본 원인을 규명하기 위해.
• 기본 종 계통수의 구조가 이 맥락에서 학습을 안내하는 데 충분히 정보가 되는지 평가하기 위해.

제안 방법

• 연구는 9개 속에 속한 20종의 그람 양성 및 그람 음성 박테리아 종에서 이루어진 571개의 질량 스펙트럼을 포함하는 MicroMass 데이터셋을 사용한다.
• 평탄한 다중분류 분류기(예: SVM-OVA)와 구조화된 학습 접근법(예: TreeLoss, 구조화된 SVM)을 포함한 최신 기계학습 방법을 적용한다.
• 구조화된 방법은 계통발생 수나무를 사전 지식으로 활용하며, 수나무 내 종 간 최단 경로를 기반으로 한 손실 함수를 사용한다.
• 모든 모델은 성능 추정의 정확성을 확보하기 위해 10겹 교차검증을 사용하여 훈련 및 평가된다.
• 스펙트럼는 피크 추출을 통해 사전 처리되어 고차원의 원시 데이터가 관리 가능한 특징 벡터로 변환된다.
• 표준 다중분류 분류 지표를 사용하여 성능을 측정하며, 특히 같은 계통군 수준(예: 같은 속, 같은 그람 유형)에서의 오류 패턴에 중점을 둔다.

실험 결과

연구 질문

• RQ1 구조화된 기계학습 방법은 MALDI-TOF MS 데이터에서 평탄한 다중분류 분류기보다 미생물 식별 정확도를 향상시키는가?
• RQ2 박테리아 종의 계통발생적 계층이 사전 지식으로 사용될 경우 분류 성능 향상에 어느 정도 기여하는가?
• RQ3 다양한 방법에서 가장 빈번한 분류 오류 유형은 무엇이며, 생물학적 유사성과는 어떤 관련이 있는가?
• RQ4 이론적 우월성에도 불구하고, 이 맥락에서 구조화된 방법이 평탄한 방법을 앞서지 못하는 이유는 무엇인가?
• RQ5 계통수의 계층적 구조가 생물학적으로 매우 유사한 종에 대해 학습을 안내하는 데 충분히 정보가 되는가?

주요 결과

• 구조화된 기계학습 방법은 MALDI-TOF MS 데이터에서의 미생물 식별에서 평탄한 방법과 일관되게 뛰어나지 않는다.
• 대부분의 분류 오류—많은 경우 80% 이상—는 어떤 방법을 사용하든 같은 속의 종을 잘못 식별하는 데서 기인한다.
• 계통발생 수나무를 손실 함수로 사용하는 TreeLoss 및 구조화된 SVM 방법은 평탄한 방법과 유사한 오류 패턴을 보이며, 유의미한 향상이 없다.
• 수나무 내 최단 경로를 기반으로 한 손실 함수는 먼 종 간 쌍을 가장 강하게 처벌하지만, 가장 빈번한 오류는 서로 가까운 종 간이므로 이는 상대적으로 덜 처벌된다.
• *Bacillus cereus*와 *B. thuringiensis*, 또는 *Streptococcus mitis*와 *S. oralis*와 같은 가까운 친연종의 스펙트럼는 피크 추출 후 거의 구분이 가지 않으며, 이는 지속적인 오분류를 설명한다.
• 이 연구는 이 데이터셋에서는 속 이하 수준에서 계층적 구조가 충분히 정보가 되지 않으며, 현재 방법들이 이미 높은 정확도를 달성하고 있어 구조화된 학습을 통한 향상 여지가 거의 없다고 제안한다.