[論文レビュー] Rethinking Performance Measures of RNA Secondary Structure Problems

Frederic Runge, Jörg K. H. Franke+2 more|arXiv (Cornell University)|Dec 4, 2023

RNA and protein synthesis mechanisms被引用数 4

ひとこと要約

本論文は、F1スコアやMCCといった従来の指標に代わる優れた代替指標として、Weisfeiler-Lehman (WL) グラフカーネルを提案する。F1スコアやMCCのような交差表ベースの指標は、動的または偽くすみ構造を示すRNAにおいて構造的類似性を捉えられないのに対し、WLはグラフベースの類似性を活用することで生物学的意味のある類似性を正確に反映し、RNA設計タスクにおける評価の整合性と有用性を向上させ、明確な性能向上を示している。

ABSTRACT

Accurate RNA secondary structure prediction is vital for understanding cellular regulation and disease mechanisms. Deep learning (DL) methods have surpassed traditional algorithms by predicting complex features like pseudoknots and multi-interacting base pairs. However, traditional distance measures can hardly deal with such tertiary interactions and the currently used evaluation measures (F1 score, MCC) have limitations. We propose the Weisfeiler-Lehman graph kernel (WL) as an alternative metric. Embracing graph-based metrics like WL enables fair and accurate evaluation of RNA structure prediction algorithms. Further, WL provides informative guidance, as demonstrated in an RNA design experiment.

研究の動機と目的

• F1スコアやMCCといった従来の評価指標が、偽くすみ構造や複数相互作用を示す塩基対といった複雑な特徴を含むRNA二次構造の類似性を測定する際の限界を解消すること。
• 交差表ベースの指標が、生物学的に類似した構造同士に0点や負のスコアを割り当てるなど、誤ったスコアを生じる可能性があることを示すこと。
• Weisfeiler-Lehman (WL) グラフカーネルを、RNA構造における構造的および配列レベルの類似性を捉えるより生物学的に意味のある指標として導入すること。
• WLの実用的有用性を、特に学習ベースのRNA設計アルゴリズムにおけるガイドラインとしての有効性を評価すること。
• 深層学習モデルを用いたRNA構造予測におけるエンドツーエンド学習を可能にするために、WLの微分可能サロゲートモデルの可能性を検討すること。

提案手法

• ヌクレオチドをノード、塩基対をエッジとする無向グラフとしてRNA二次構造を表現し、グラフベースの解析を可能にする。
• Weisfeiler-Lehman (WL) グラフカーネルを適用し、近隣ノードの集約によって反復的にノードラベルを更新することで構造的類似性を計算する。
• WLカーネルスコアを予測値と真値のRNA構造を比較する連続的かつ情報豊富な指標として用い、バイナリの交差表ベースの指標に置き換える。
• libLEARNA RNA設計アルゴリズムの評価ループにWLを統合し、進化的探索をガイドするハミング距離を置き換える。
• WL距離を近似するためのグラフニューラルネットワーク（GNN）ベースのサロゲートモデルを学習し、深層学習の訓練中に微分可能ガイドラインを提供する。
• バイスタビリティを持つRNA、ブリッジ移動シミュレーション、配列突然変異のシナリオを対象とした制御実験を実施し、F1、F1-shift、MCCと比較してWLの性能を評価する。

Figure 1: Bi-stable RNA 20mer. The F1 score and MCC when comparing both folds is $0.0$ and $-0.026$ , respectively. The Weisfeiler-Lehman graph kernel provides a score of $0.25$ .

実験結果

リサーチクエスチョン

• RQ1 F1スコアやMCCといった従来の評価指標は、構造的ダイナミクスや偽くすみ構造が関与する場合でも、生物学的に類似したRNA二次構造同士の類似性を信頼性を持って測定できるか？
• RQ2 Weisfeiler-Lehmanグラフカーネルは、交差表ベースの指標に比べ、RNA二次構造予測においてより正確で生物学的に意味のある構造的類似性の測定を可能にするか？
• RQ3 WLは最適化プロセスにおけるより良いガイドラインを提供することで、学習ベースのRNA設計アルゴリズムの性能を向上させられるか？
• RQ4 F1やF1-shiftとは異なり、WLは塩基対の位置シフト、ブリッジ移動、配列突然変異といった生物学的に重要な変化に対して、どのように反応するか？
• RQ5 GNNベースのWLサロゲートモデルは、RNA構造予測における深層学習モデルの微分可能訓練をどの程度可能にするか？

主な発見

• F1スコアとMCCは、20-merバイスタビリティRNAに対して誤った結果を示し、同一の塩基対パターンを持つ2つのコンformationにそれぞれ0.0と-0.026のスコアを割り当てた。
• WLカーネルは構造的類似性を正しく同定し、バイスタビリティRNA 20-merに対して0.25のスコアを出力した。これは生物学的に関連する類似性を捉える能力を示している。
• 塩基対の位置シフトに対しては、WLスコアは徐々に低下する（1シフトで0.519、2シフトで0.469）。これに対してF1やF1-shiftはスコアが0に急低下するため、WLは構造的変化に対して感度が高いことが示された。
• ブリッジ移動シミュレーションでは、WLスコアは移動距離が増加するにつれて徐々に低下するが、F1-shiftスコアは1.0のまま維持され、構造的差を区別できないことが示された。
• WLは配列レベルの変化を効果的に捉えており、突然変異数に比例してスコアが低下する。F1、MCC、F1-shiftにはこの能力が欠如している。
• libLEARNA RNA設計アルゴリズムにWLを適用した評価（libLEARNA-WL）は、ハミング距離に基づく評価に比べて性能が向上し、実用的有用性が実証された。

Figure 2: Example of structural shift. (Left) We show a 5SrRNA of Drosophila melanogaster (Middle) The same structure shifted by one position. (Right) The same structure shifted by two positions.