[論文レビュー] Benchmark of structured machine learning methods for microbial identification from mass-spectrometry data

Kévin Vervier, Pierre Mahé+2 more|arXiv (Cornell University)|Jun 24, 2015

Bacterial Identification and Susceptibility Testing参考文献 27被引用数 13

ひとこと要約

本研究では、MALDI-TOF MSデータを用いた微生物同定における構造的でない（フラットな）機械学習手法のベンチマークを実施し、20種の細菌の公開データセット上でその性能を評価した。系統的階層構造を活用しても、構造的メソッドは一貫して標準的なフラット分類器を上回らない。主な理由は、ほとんどの誤分類が属内での誤分類であるためであり、これは階層構造が最も是正しにくいタイプの誤分類である。

ABSTRACT

Microbial identification is a central issue in microbiology, in particular in the fields of infectious diseases diagnosis and industrial quality control. The concept of species is tightly linked to the concept of biological and clinical classification where the proximity between species is generally measured in terms of evolutionary distances and/or clinical phenotypes. Surprisingly, the information provided by this well-known hierarchical structure is rarely used by machine learning-based automatic microbial identification systems. Structured machine learning methods were recently proposed for taking into account the structure embedded in a hierarchy and using it as additional a priori information, and could therefore allow to improve microbial identification systems. We test and compare several state-of-the-art machine learning methods for microbial identification on a new Matrix-Assisted Laser Desorption/Ionization Time-of-Flight mass spectrometry (MALDI-TOF MS) dataset. We include in the benchmark standard and structured methods, that leverage the knowledge of the underlying hierarchical structure in the learning process. Our results show that although some methods perform better than others, structured methods do not consistently perform better than their "flat" counterparts. We postulate that this is partly due to the fact that standard methods already reach a high level of accuracy in this context, and that they mainly confuse species close to each other in the tree, a case where using the known hierarchy is not helpful.

研究の動機と目的

• MALDI-TOF MSデータを用いた微生物同定の精度向上に、構造的機械学習手法が寄与するかどうかを評価すること。
• 多クラス分類において、既知の系統的階層構造を事前知識として組み込むことで、分類性能がどのように変化するかを調査すること。
• 実世界の微生物データセット上で、構造的メソッドと標準的な「フラット」多クラス分類器の性能を比較すること。
• 階層的事前知識を用いても継続的に生じる分類誤りの根本的原因を特定すること。
• 基礎となる種の系統樹の構造が、この文脈において学習をガイドするのに十分に情報を持っているかどうかを評価すること。

提案手法

• 本研究では、9属にまたがる20種のグラム陽性およびグラム陰性細菌からなる571スペクトルから成るMicroMassデータセットを用いた。
• フラット多クラス分類器（例：SVM-OVA）と構造的学習アプローチ（例：TreeLoss、構造的SVM）の両方を含む、最新の機械学習手法を適用した。
• 構造的メソッドでは、系統樹を事前知識として用い、種間の最短経路に基づく損失関数を採用した。
• すべてのモデルは、性能推定の信頼性を高めるために10分割交差検証を用いて訓練および評価した。
• スペクトルはピーク抽出により前処理され、高次元の生データが管理可能な特徴ベクトルに短縮された。
• 性能は標準的な多クラス分類指標を用いて測定され、特に同じ属、同じグラム染色性などの分類階層における誤りパターンに注目した。

実験結果

リサーチクエスチョン

• RQ1 構造的機械学習手法は、MALDI-TOF MSデータにおいて、フラット多クラス分類器と比較して微生物同定の精度を向上させるか？
• RQ2 細菌の系統的階層が、事前知識として用いられた場合、分類性能にどの程度寄与するか？
• RQ3 さまざまな手法において最も頻発する分類誤りの種類は何か、そしてそれらは生物学的近縁性とどのように関係しているか？
• RQ4 理論的利点があるにもかかわらず、構造的メソッドがこの文脈でフラットメソッドを上回らないのはなぜか？
• RQ5 非常に似た生物的特徴を示す種に対して、系統樹の階層的構造は学習をガイドするのに十分に情報を持っているか？

主な発見

• 構造的機械学習手法は、MALDI-TOF MSデータからの微生物同定において、フラット手法を一貫して上回らない。
• 多くの場合、80％以上の分類誤りが、同じ属に属する種の誤分類に起因しており、使用する手法にかかわらず同様の傾向を示した。
• 系統樹を損失関数に組み込むTreeLossおよび構造的SVM手法は、フラット手法と同様の誤りパターンを示し、顕著な改善は認められなかった。
• 系統樹における最短経路に基づく損失関数は、距離の遠い種のペアに対して最もペナルティを課すが、最も頻発する誤りは近縁種間であり、結果としてペナルティが小さい。
• *Bacillus cereus* と *B. thuringiensis*、*Streptococcus mitis* と *S. oralis* のような近縁種のスペクトルは、ピーク抽出後もほとんど区別がつかないため、継続的な誤分類が生じる。
• 本研究では、このデータセットにおいて、属以下レベルでの階層的構造は、学習をガイドするのに十分な情報を持っていないと示唆された。また、現在の手法がすでに高い精度に達しており、構造的学習による改善の余地はほとんどない。