[論文レビュー] Enhancing Protein Predictive Models via Proteins Data Augmentation: A Benchmark and New Directions

Rui Sun, Lirong Wu+3 more|arXiv (Cornell University)|Mar 1, 2024

Gene expression and cancer classificationBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、予測モデル向けに最適なデータ拡張戦略を適応的に選択するフレームワークである自動タンパク質拡張（APA）を提案する。画像および自然言語処理の拡張技術をタンパク質に拡張し、2つの意味論的レベルの手法—統合勾配置換とバックトランスレーション置換—を導入することで、アンサンブルなしのモデルと比較して、5つのタンパク質関連タスクで平均10.55%の性能向上を達成した。

ABSTRACT

Augmentation is an effective alternative to utilize the small amount of labeled protein data. However, most of the existing work focuses on design-ing new architectures or pre-training tasks, and relatively little work has studied data augmentation for proteins. This paper extends data augmentation techniques previously used for images and texts to proteins and then benchmarks these techniques on a variety of protein-related tasks, providing the first comprehensive evaluation of protein augmentation. Furthermore, we propose two novel semantic-level protein augmentation methods, namely Integrated Gradients Substitution and Back Translation Substitution, which enable protein semantic-aware augmentation through saliency detection and biological knowledge. Finally, we integrate extended and proposed augmentations into an augmentation pool and propose a simple but effective framework, namely Automated Protein Augmentation (APA), which can adaptively select the most suitable augmentation combinations for different tasks. Extensive experiments have shown that APA enhances the performance of five protein related tasks by an average of 10.55% across three architectures compared to vanilla implementations without augmentation, highlighting its potential to make a great impact on the field.

研究の動機と目的

• 標本が限られるタンパク質配列モデリング分野におけるデータ拡張の未開拓な領域に取り組む。
• 画像および自然言語処理で用いられる既存の拡張技術をタンパク質配列に適応し、その有効性を評価するベンチマークを実施する。
• 生物学的機能を保持しつつ意味的に意味のある変種を生成できる、新たな意味論的レベルの拡張手法を提案する。
• 多様なタスクおよびアーキテクチャに適応して、最も効果的な拡張戦略の組み合わせを動的に選択する自動フレームワークAPAを開発する。
• 適応的で意味論的注意を備えた拡張が、複数のタンパク質関連タスクにおいてモデルの汎化性能と性能を顕著に向上させることを実証する。

提案手法

• 画像および自然言語処理で用いられる拡張技術—例えばランダムマスキング、トークンシャッフル、バックトランスレーション—をタンパク質配列固有の方法に適応する。
• 統合勾配置換を導入し、勾配帰属を用いてタンパク質配列の顕著な領域を同定し、生物学的に妥当な代替物に置換する。
• バックトランスレーション置換を提案し、mRNA配列からタンパク質配列への逆翻訳を活用して生物学的に意味のある変種を生成する。
• トークンレベル、配列レベル、意味論的レベルの手法を統合した包括的なタンパク質拡張プールを構築する。
• バリデーション精度を用いて、タスクおよびアーキテクチャごとに最も効果的な拡張戦略の組み合わせを自動で選択・統合するメタラーニングフレームワークAPAを設計する。
• バッチ正規化とアブレーション解析を統合し、各構成要素の寄与度を検証するとともに、学習の安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 既存の画像および自然言語処理の拡張技術をタンパク質配列に直接適用した場合、どの程度有効であるか？
• RQ2 顕著性マップおよび生物学的知識を活用する意味論的レベルの拡張手法は、タンパク質モデルの性能向上に寄与するか？
• RQ3 拡張戦略の組み合わせを自動で選択することで、多様なタンパク質タスクおよびアーキテクチャにおいてどの程度汎化性能が向上するか？
• RQ4 個々の構成要素—例えば統合勾配置換やバッチ正規化—が全体の性能向上に果たす寄与度はどの程度か？
• RQ5 APAは収束速度および最終的な正答率に、学習ダイナミクスにどのような影響を与えるか？

主な発見

• APAは、アンサンブルなしのモデルと比較して、3つのディープラーニングアーキテクチャを用いた5つのタンパク質関連タスクにおいて、平均10.55%の性能向上を達成した。
• アブレーションスタディの結果、統合勾配置換を削除すると顕著な性能低下が生じ、細胞小器官局在予測の正答率が88.26%から83.16%に2.29%低下した。
• ヒートマップの可視化により、学習中に顕著性領域が動的にシフトすることが確認され、統合勾配置換が文脈に応じた適応的拡張を可能にしていることが裏付けられた。
• APAはモデルの収束を加速し、細胞小器官局在予測タスクにおいて50エポックの学習で、アンサンブルなしLSTMと比較して一貫して高いテスト正答率を達成した。
• バッチ正規化を削除した場合、細胞小器官局在予測の正答率が88.26%から84.99%に1.82%低下したため、学習の安定性を確保する上でその役割が示された。
• バックトランスレーション置換は優れた意味論的保存を示し、生物学的に妥当な変種を生成することで、機能的関連性を維持しながらモデルのロバスト性を向上させた。