[論文レビュー] AUC-maximized Deep Convolutional Neural Fields for Sequence Labeling

Sheng Wang, Siqi Sun+1 more|arXiv (Cornell University)|Nov 17, 2015

Machine Learning in Bioinformatics参考文献 31被引用数 9

ひとこと要約

本論文は、不均衡なデータにおける順序付けられたラベル付けのため、DCNNとCRFを統合したAUC最大化型ディープ畳み込みニューラルフィールド（DeepCNF）を提案する。AUCをペairワイズ順序付け目的関数として定式化し、多項式近似とL-BFGSを用いて最適化することで、3つのタンパク質配列ラベル付けタスクで最先端の性能を達成した。特に、不均衡度が極めて高いデータ（例：不秩序性予測や8状態二次構造予測）では、標準的手法を上回る性能を示した。

ABSTRACT

Deep Convolutional Neural Networks (DCNN) has shown excellent performance in a variety of machine learning tasks. This manuscript presents Deep Convolutional Neural Fields (DeepCNF), a combination of DCNN with Conditional Random Field (CRF), for sequence labeling with highly imbalanced label distribution. The widely-used training methods, such as maximum-likelihood and maximum labelwise accuracy, do not work well on highly imbalanced data. To handle this, we present a new training algorithm called maximum-AUC for DeepCNF. That is, we train DeepCNF by directly maximizing the empirical Area Under the ROC Curve (AUC), which is an unbiased measurement for imbalanced data. To fulfill this, we formulate AUC in a pairwise ranking framework, approximate it by a polynomial function and then apply a gradient-based procedure to optimize it. We then test our AUC-maximized DeepCNF on three very different protein sequence labeling tasks: solvent accessibility prediction, 8-state secondary structure prediction, and disorder prediction. Our experimental results confirm that maximum-AUC greatly outperforms the other two training methods on 8-state secondary structure prediction and disorder prediction since their label distributions are highly imbalanced and also have similar performance as the other two training methods on the solvent accessibility prediction problem which has three equally-distributed labels. Furthermore, our experimental results also show that our AUC-trained DeepCNF models greatly outperform existing popular predictors of these three tasks.

研究の動機と目的

• 高度に不均衡なラベル分布を示す順序付けラベル付けタスクにおいて、最大尤度推定やラベル単位正答率に基づく標準的手法が劣る性能を示す問題に対処する。
• 構造的順序付けモデルの文脈において、不均衡データに強い指標である受信者操作特性曲線下積分（AUC）を直接最適化する新しい学習アルゴリズムを開発する。
• タンパク質配列における長距離依存関係をモデル化するため、ディープ畳み込みニューラルネットワーク（DCNN）と線形チェーン条件付き確率場（CRF）を統合する。
• 溶媒露出度、不秩序性予測、8状態二次構造予測を含む、ラベルバランスが異なる実世界の生物学的配列ラベル付け問題において、AUCベースの学習が優れていることを実証する。
• すべての3つのベンチマークタンパク質配列ラベル付けタスクで最先端の性能を達成し、特に不均衡データセットにおけるレアクラスに対して顕著な優位性を示す。

提案手法

• 構造的順序付けモデルにおける最適化を可能にするために、正例と負例のペアワイズ順序付け目的関数としてAUCを定式化する。
• AUC関数を多項式に基づくチェビシェフ近似で近似することで、微分可能かつ勾配ベース最適化に適した形に変換する。
• 微分可能なAUC目的関数を、DCNNと線形チェーンCRFを統合した順序付けラベル付け用のディープ畳み込みニューラルフィールド（DeepCNF）フレームワークに統合する。
• L-BFGSアルゴリズムを用いてAUC目的関数を最適化し、モデルパラメータをエンドツーエンドで更新することで、特徴表現とCRFポテンシャルの共同学習を可能にする。
• DCNNアーキテクチャと学習手法のバリエーションを評価するため、JPREDデータセットを用いて7分割交差検証を実施する。
• 特に不均衡データセットにおける希少クラスに注目し、バランスの取れた指標（平均MCCと平均AUC）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 高度に不均衡なラベル分布を示す順序付けラベル付けタスクにおいて、直接的なAUC最大化が最大尤度推定や最大ラベル単位正答率を上回る性能を発揮できるか？
• RQ2 AUCベースの学習は、不秩序性予測や8状態二次構造予測といったタンパク質配列ラベル付けタスクにおける希少クラスの性能にどのように影響を与えるか？
• RQ3 提案されたAUC最大化型DeepCNFモデルは、ラベルバランスが異なる多様な生物学的配列ラベル付け問題において、最先端の性能を達成できるか？
• RQ4 異なる学習目的関数下で、アーキテクチャ的選択（例：層数、ニューロン数、カーネルサイズ）に対するモデル性能の感受性はどの程度か？
• RQ5 AUC最大化は、メジャークラスの性能を維持しつつ、マイナスクラスの予測品質をどの程度向上させるか？

主な発見

• 不均衡度が極めて高い不秩序性予測（DISO）では、正例割合が約6％にとどまるが、最大AUC学習が平均MCC 0.51、平均AUC 0.89を達成し、最大尤度推定や最大ラベル単位正答率を顕著に上回った。
• 希少ラベル（3-10ヘリックス、バターループ、ピーヘリックスなど）を含む8状態二次構造予測（SS8）では、最大AUC学習が平均MCC 0.44、平均AUC 0.86を達成し、最大ラベル単位正答率（平均MCC：0.41、平均AUC < 0.8）を上回った。
• ラベル分布がほぼ均一（3クラス）な溶媒露出度予測（ACC）では、3つの学習手法の性能が類似しており、Q3正答率0.69、平均MCC 0.45、平均AUC 0.82を示した。
• すべてのタスクにおいて最適なDeepCNFアーキテクチャは、4〜5層の隠れ層、1層あたり50〜100ニューロン、カーネルサイズ11であった。さらに深さや幅を増加させても性能向上が見られなかった。
• 最大AUC学習は、類似した特異度レベルで希少ラベルの精度と感度を向上させ、クラス不均衡への有効性を示した。
• AUC最大化型DeepCNFモデルは、3つのタンパク質配列ラベル付けタスクすべてで最先端の性能を達成し、ベンチマークデータセット上での既存の代表的予測器を上回った。