[論文レビュー] "Found in Translation": Predicting Outcomes of Complex Organic Chemistry Reactions using Neural Sequence-to-Sequence Models

Philippe Schwaller, Théophile Gaudin+3 more|arXiv (Cornell University)|Nov 13, 2017

Topic Modeling参考文献 30被引用数 4

ひとこと要約

この論文は、SMILES文字列を用いて有機反応予測を翻訳タスクとして扱う、テンプレートフリーでエンド・ツー・エンドのニューラルシーケンス・ツー・シーケンスモデルを導入する。独自の拡張可能なトークン化手法を採用し、完全にデータ駆動的に訓練することで、USPTOデータセットでは80.3%のトップ1精度、よりノイズの多い特許由来のデータセットでは65.4%のトップ1精度を達成し、反応テンプレートや外部知識に依存せずに、先行する最先端手法を上回る性能を発揮した。

ABSTRACT

There is an intuitive analogy of an organic chemist's understanding of a compound and a language speaker's understanding of a word. Consequently, it is possible to introduce the basic concepts and analyze potential impacts of linguistic analysis to the world of organic chemistry. In this work, we cast the reaction prediction task as a translation problem by introducing a template-free sequence-to-sequence model, trained end-to-end and fully data-driven. We propose a novel way of tokenization, which is arbitrarily extensible with reaction information. With this approach, we demonstrate results superior to the state-of-the-art solution by a significant margin on the top-1 accuracy. Specifically, our approach achieves an accuracy of 80.1% without relying on auxiliary knowledge such as reaction templates. Also, 66.4% accuracy is reached on a larger and noisier dataset.

研究の動機と目的

• 専門知識を要し、複雑な反応空間においても柔軟性に欠けるルールベースおよびテンプレート依存の反応予測手法の限界を克服すること。
• シーケンス・ツー・シーケンスニューラルネットワークが、SMILES表現を用いて有機化学反応を言語翻訳タスクとしてモデル化できるかどうかを検討すること。
• 手作業で作成された反応テンプレートや外部の化学的知識に依存しない、完全にデータ駆動的でエンド・ツー・エンドのモデルを構築すること。
• US特許からのノイズの多い単一生成物反応を含む、複雑で現実世界の反応データセットにおける予測精度を向上させること。
• ニューラルネットワークがデータから直接「有機化学の言語」を学習でき、自動反応生成予測を可能にすることを示すこと。

提案手法

• モデルは、反応物と生成物を表すSMILES文字列を入力として、エンコーダ・デコーダ構造を持つシーケンス・ツー・シーケンスアーキテクチャを採用し、エンド・ツー・エンドで訓練される。
• 標準的なSMILESトークンに加え、反応中心や機能性基団といった反応固有の情報を組み込む、独自の拡張可能なトークン化スキームが導入された。
• 注目メカニズムを採用し、キーモジュールがSMILES文字列内で離れている場合でも、入力シーケンスの関連部分に動的に注目できる。
• 訓練は完全にデータ駆動的であり、反応テンプレートや外部の化学的ルールは一切使用せず、大規模な反応データにのみ依存する。
• 推論時にはビームサーチデコードが用いられ、トップ1予測確率から得られる信頼度しきい値を用いてモデルの確実性を評価する。
• モデルは2つのベンチマークデータセットで評価された：USPTOデータセット（クリアで多段階の反応）とLoweの特許由来データセット（ノイズが多く、単一生成物の反応）。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドで生のSMILES文字列にのみ訓練されたニューラルシーケンス・ツー・シーケンスモデルは、テンプレートベースの手法を上回り、有機反応生成物の予測性能を向上させられるか？
• RQ2 データ駆動的でテンプレートフリーなモデルは、US特許からのような複雑でノイズの多い現実世界の反応データにどの程度一般化できるか？
• RQ3 モデルの予測信頼度と精度の相関関係は何か？信頼度しきい値を用いて、不確実な予測を特定できるか？
• RQ4 注目メカニズムは、SMILES表現における離れた機能性基団間の長距離依存関係をどのように捉えているか？
• RQ5 同じ訓練・テスト条件で評価した場合、モデルの性能は最先端手法と比べてどの程度か？

主な発見

• USPTOデータセットでは80.3%のトップ1精度を達成し、前回の最先端手法を6.3ポイント上回った。
• US特許の単一生成物反応から成るより大きなノイズの多いデータセットでは65.4%のトップ1精度を達成し、この挑戦的なベンチマークの新記録を樹立した。
• 候補順位付けを用いないにもかかわらず、USPTOテストセットにおいてWLDNモデルを6.3%のトップ1精度で上回った。
• トップ1予測の信頼度（ビームサーチ確率で測定）は、正解と誤答の間で明確な差を示し、信頼度しきい値を用いて不確実な予測をフィルタリング可能であることを示した。
• 信頼度しきい値0.83で、70.2%の反応を83.0%の精度で予測した一方、29.8%のケースについては予測を控えた。
• 注目可視化により、モデルが反応中心を正しく学習し、たとえSMILES文字列内で離れていても、[O-]を生成物のOに正しくマッピングするなど、原子の対応を的確に捉えていることが確認された。