[論文レビュー] Deciding when to stop: Efficient stopping of active learning guided drug-target prediction

Maja Temerinac-Ott, Armaghan W. Naik+1 more|arXiv (Cornell University)|Apr 9, 2015

Computational Drug Discovery Methods参考文献 29被引用数 3

ひとこと要約

本稿では、薬物標的相互作用予測におけるアクティブラーニングの精度を予測するためのシミュレーションベースの回帰モデルを提案し、最小限の性能損失で早期停止を可能にする。シミュレートされたデータで訓練することで、実世界のデータセットにおいても高い予測精度を維持しつつ、実験コストを最大40％まで削減できる。

ABSTRACT

Active learning has shown to reduce the number of experiments needed to obtain high-confidence drug-target predictions. However, in order to actually save experiments using active learning, it is crucial to have a method to evaluate the quality of the current prediction and decide when to stop the experimentation process. Only by applying reliable stoping criteria to active learning, time and costs in the experimental process can be actually saved. We compute active learning traces on simulated drug-target matrices in order to learn a regression model for the accuracy of the active learner. By analyzing the performance of the regression model on simulated data, we design stopping criteria for previously unseen experimental matrices. We demonstrate on four previously characterized drug effect data sets that applying the stopping criteria can result in upto 40% savings of the total experiments for highly accurate predictions.

研究の動機と目的

• アクティブラーニングの停止タイミングを決定するという、薬物標的相互作用予測において極めて重要な課題に取り組むこと。
• 予測精度を損なわず実験コストを最小限に抑える、信頼性の高いデータ駆動型の停止基準を開発すること。
• シミュレートされたアクティブラーニングのトレースを用いて停止ルールをキャリブレーションし、実世界の薬物標的相互作用行列に一般化可能にする。
• 予測されたモデル精度に基づく早期停止が、はるかに少ない実験回数で、同等の性能を達成できることを示すこと。
• カーネル化された行列分解を越えて、ハイパフォーマンス生物学的スクリーニングにおけるアクティブラーニングに応用可能な実用的フレームワークを提供すること。

提案手法

• 既知の生物学的データを用いて薬物標的相互作用行列をシミュレートし、反復的なモデル更新を伴うアクティブラーニングトレースを生成する。
• シミュレートされたアクティブラーニングプロセスから、トレース特徴（例：不確実性、ラベルの一貫性、予測分散）を抽出する。
• シミュレートされたデータ上で回帰モデルを訓練し、未観測のテストセットにおけるアクティブラーナーの真の精度を予測する。
• 訓練された回帰モデルを実世界の薬物標的データセットに適用し、アクティブラーニング中の現在のモデル性能を推定する。
• 予測された精度を用いて、さらなる実験が顕著に性能向上をもたらさない場合に停止をトリガーする。
• 最良の停止時刻（BST）に基づくベンチマークを用いて、複数の停止基準（例：不確実性、期待誤差、予測精度）を比較する。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされたアクティブラーニングトレース上で訓練された回帰モデルは、アクティブラーニング中における薬物標的予測モデルの真の精度を正確に予測できるか？
• RQ2 不確実性、期待誤差、予測精度に基づく停止基準の中で、どれが実世界の薬物標的予測において最適停止時刻（BST）に最も近いか？
• RQ3 シミュレーションから導出された停止ルールを適用することで、予測性能の低下を伴わず、実験コストをどの程度削減できるか？
• RQ4 固定しきい値法と適応しきい値法と比較して、提案手法の停止ルールは最良の停止時刻にどの程度近いか？
• RQ5 本フレームワークは、カーネル化された行列分解を越えて、他の薬物標的予測モデルに対しても一般化可能か？

主な発見

• しきい値0.9を設定した予測精度（PA）停止ルールは、4つの実世界データセットにおいて、最良の停止時刻（BST）からの平均差が最小（13.7％）を達成した。
• PA手法により、実験回数を最大40％まで削減しつつも、高い予測精度を維持でき、AUC値は全実験ベースラインと1～3％の差に留まった。
• 固定しきい値を用いたOU（全体の不確実性）およびMEE（最小期待誤差）手法は著しく劣っており、BSTからの平均差が30％を超えた。
• 適応しきい値法によりOUおよびMEEの性能は向上したが、依然としてPA手法に劣り、PA手法は最も一貫性があり正確な停止行動を示した。
• 提案手法は、3つの高一意性データセットで99％の精度を達成し、ランダムサンプリングと比較して2～3倍の少ない実験回数で達成した。これは顕著な効率性向上を示している。
• シミュレートされたデータ上で訓練された回帰モデルは、真のモデル精度の信頼性の高い下限推定値を提供し、実世界の応用において効果的な早期停止を可能にした。