[論文レビュー] TransPolymer: a Transformer-based language model for polymer property predictions

Changwen Xu, Yuyang Wang+1 more|arXiv (Cornell University)|Sep 3, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

TransPolymer は、化学的に意識されたトークナイゼーションを備えたトランスフォーマー基盤の言語モデルであり、マスクされた言語モデルを用いて大規模なラベルなしポリマー配列から学習することで、正確でデータ効率の良いポリマー特性予測を可能にする。10のベンチマークデータセットにおいて最先端の性能を達成し、自己注意機構と事前学習がポリマー配列の依存関係を捉える有効性を示している。

ABSTRACT

Accurate and efficient prediction of polymer properties is of great significance in polymer design. Conventionally, expensive and time-consuming experiments or simulations are required to evaluate polymer functions. Recently, Transformer models, equipped with self-attention mechanisms, have exhibited superior performance in natural language processing. However, such methods have not been investigated in polymer sciences. Herein, we report TransPolymer, a Transformer-based language model for polymer property prediction. Our proposed polymer tokenizer with chemical awareness enables learning representations from polymer sequences. Rigorous experiments on ten polymer property prediction benchmarks demonstrate the superior performance of TransPolymer. Moreover, we show that TransPolymer benefits from pretraining on large unlabeled dataset via Masked Language Modeling. Experimental results further manifest the important role of self-attention in modeling polymer sequences. We highlight this model as a promising computational tool for promoting rational polymer design and understanding structure-property relationships from a data science view.

研究の動機と目的

• 高価な実験やシミュレーションに依存せずに、ポリマー特性の正確で効率的な予測を可能にする深層学習モデルの開発。
• RNN、GNN、および手作業で作成されたフィンガープrintなどの既存モデルの制限を克服し、トランスフォーマーのシーケンスモデリング能力を活用すること。
• 自己注意機構と大規模なラベルなしポリマー配列を用いた事前学習が、ポリマー科学における一般化と表現学習を向上させるかどうかの検証。
• 自然言語にインspiredされたモデリングを通じて、構造-特性関係をデータ駆動型フレームワークで理解するための基盤の構築。

提案手法

• 化学的意味と結合性を保持するように設計された、カスタムの化学的に意識されたポリマーツーカーを考案し、ポリマー配列をトークンに変換する。
• モデルアーキテクチャは、標準的なトランスフォーマーエンコーダーに基づき、マルチヘッド自己注意機構とフィードフォワードネットワークを用いて、ポリマー配列内の長距離依存関係を捉える。
• 再帰性が欠如しているため、シーケンス順序を保持するために、正弦関数に基づく位置エンコーディングを用いる。
• 事前学習にはマスクされた言語モデル（MLM）を採用し、15%のトークンをマスク（80%）、ランダムトークンに置換（10%）、またはそのままで（10%）にして、文脈的表現を学習する。
• 微調整には、AdamW最適化アルゴリズムと学習率スケジューリングを用いた、1層のMLP回帰ヘッドを適用し、下流のポリマー特性予測タスクを実行する。
• 微調整を最適化するために、レイヤーごとの学習率減少（LLRD）戦略を適用し、上位レイヤーでは高い学習率、より深いレイヤーでは低い学習率を設定する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤の言語モデルは、特性予測のための意味的なポリマー配列表現を効果的に学習できるか？
• RQ2 マスクされた言語モデルを用いて大規模なラベルなしポリマー配列を事前学習することで、下流の特性予測性能が向上するか？
• RQ3 可変な重合度を持つポリマー配列をモデリングする際、トランスフォーマーの自己注意機構はRNNやGNNに比べて優れているか？
• RQ4 化学的に意識されたトークナイゼーションは、モデルの化学的文法や構造的パターンの捉え方をどの程度向上させるか？
• RQ5 豊富な再トレーニングを必要とせずに、多様なポリマークラスや特性タイプに一般化できるか？

主な発見

• TransPolymer は10の多様なポリマー特性予測ベンチマークで最先端の性能を達成し、GNN、RNN、フィンガープrintベースのモデルを凌駆する。
• 大規模なラベルなしデータセット上で事前学習した後、微調整により顕著な性能向上が見られ、自己教師付き事前学習の利点を裏付けた。
• 事前学習段階でマスクされた言語モデルが用いられたことで、化学的文法と文脈的依存関係を学習できており、30エポックにわたりバイナリクロスエントロピー損失が1.0以上から約0.07へ安定して低下した。
• 自己注意機構は、ポリマー配列内の長距離相互作用をモデリングするために不可欠であり、アブレーションスタディでは注意機構を除去すると性能が著しく低下した。
• 機械的、熱的、電子的特性を含む、さまざまなポリマー種類や特性クラスに強く一般化する能力を示した。
• より大きなデータセットで事前学習を実施することで性能が向上し、事前学習データサイズが大きくなるほどモデルの精度が向上する傾向を示しており、スケーラビリティを実証した。