[論文レビュー] Retrosynthesis with Attention-Based NMT Model and Chemical Analysis of the "Wrong" Predictions

Hongliang Duan, Ling Wang+2 more|arXiv (Cornell University)|Aug 2, 2019

Genomics and Phylogenetic Studies参考文献 40被引用数 5

ひとこと要約

本論文は、反応予測をシーケンス・ツー・シーケンス翻訳タスクとして扱うことで、逆合成向けのアテンションベースのニューラル機械翻訳（NMT）モデルを提案する。USPTO特許から抽出した50,000件の反応データセットを用いて訓練したモデルは、54.1%のトップ1精度を達成し、ベースラインのseq2seqモデルを著しく上回る。化学的に妥当な「誤り」予測は、モデルの一般化能力や、熟練者による再評価によって実用的価値が向上する可能性を示唆する。

ABSTRACT

We cast retrosynthesis as a machine translation problem by introducing a special Tensor2Tensor, an entire attention-based and fully data-driven model. Given a data set comprising about 50,000 diverse reactions extracted from USPTO patents, the model significantly outperforms seq2seq model (34.7%) on a top-1 accuracy by achieving 54.1%. For yielding better results, parameters such as batch size and training time are thoroughly investigated to train the model. Additionally, we offer a novel insight into the causes of grammatically invalid SMILES, and conduct a test in which experienced chemists pick out and analyze the "wrong" predictions that may be chemically plausible but differ from the ground truth. Actually, the effectiveness of our model is un-derestimated and the "true" top-1 accuracy can reach to 64.6%.

研究の動機と目的

• 反応予測の精度を向上させるために、逆合成をニューラル機械翻訳（NMT）タスクとして定式化すること。
• USPTO特許から抽出した大規模かつ多様な逆合成データセット上で、アテンションベースのNMTモデルの性能を評価すること。
• モデル出力における文法的に誤ったSMILESの原因を特定し、『誤り』だが化学的に妥当な予測の性質を理解すること。
• 熟練化学者が『誤り』の予測について化学的妥当性を評価することで、モデルの真の予測能力を評価すること。
• バッチサイズや学習期間といったモデルハイパーパrameterを最適化し、性能を最大化すること。

提案手法

• モデルは、自己アテンション機構を備えたシーケンス・ツー・シーケンスアーキテクチャを採用し、Tensor2Tensorフレームワークで実装されている。
• 約50,000件の多様な化学反応が、USPTO特許から抽出されたデータセットを用いて学習されている。
• バッチサイズや学習時間といったハイパーパrameterは、モデルの一般化性能と性能向上を目的に体系的に最適化されている。
• モデルは、与えられた生成物のSMILES文字列から、反応物を予測することで逆合成経路を生成する。
• 熟練化学者による化学的分析を通じて、正解とは一致しないが、化学的に有効な可能性がある「誤り」予測が評価されている。
• モデルの出力は、標準的なトップ1精度に加え、誤った予測の化学的妥当性について熟練者の評価によっても評価されている。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのNMTモデルは、従来のseq2seqモデルに比べ、逆合成予測タスクで優れた性能を示せるか？
• RQ2 モデルが出力する逆合成経路における文法的に誤ったSMILESの背後にある主な要因は何か？
• RQ3 正解とは異なるが、化学的に妥当な『誤り』予測はどれほど一般的に発生するか？
• RQ4 熟練者の評価によって、モデルの真の予測能力が標準的なトップ1精度指標よりも顕著に上回っていると示されるか？
• RQ5 バッチサイズや学習期間といったハイパーパrameterの選択が、逆合成タスクにおけるモデル性能にどのように影響するか？

主な発見

• アテンションベースのNMTモデルは、逆合成タスクにおいて54.1%のトップ1精度を達成し、ベースラインのseq2seqモデル（34.7%）を著しく上回っている。
• モデルは、正解とは一致しない場合でも、化学的に妥当な逆合成経路を生成する強力な能力を示している。
• 熟練者によって化学的に有効とされた「誤り」予測のサブセットを考慮に入れると、化学的妥当性を重視した評価では、トップ1精度が64.6%にまで上昇する可能性がある。
• 分析の結果、SMILES文字列における文法的誤りは、主に結合価数や価数の誤った割り当てに起因しており、トークン化や後処理の改善が求められる。
• バッチサイズや学習期間の体系的最適化により、モデル性能に顕著な改善が見られた。
• 本研究は、標準的な評価指標が、無視された化学的に妥当な代替案を考慮に入れることで、神経ネットワークモデルの実用的価値を低く評価している可能性を浮き彫りにしている。