[論文レビュー] Towards explainable message passing networks for predicting carbon dioxide adsorption in metal-organic frameworks

Ali Raza, Faaiq Waqar+3 more|arXiv (Cornell University)|Dec 2, 2020

Metal-Organic Frameworks: Synthesis and Applications被引用数 7

ひとこと要約

本稿では、金属有機フレームワーク（MOFs）におけるCO2吸着を予測するため、鍵となる原子的官能基を特定することでモデルの解釈可能性を向上させる、ソフトアテンション機構を読み出し関数に組み込んだメッセージパッシングニューラルネットワーク（MPNN）を提案する。モデルは、シミュレートされたCO2吸着量データにおいて平均絶対偏差（MAD）0.616 mmol/gを達成したが、メッセージパッシングの伝播とノード類似性の影響により、アテンションスコアは化学的解釈可能性が限定的であることが判明した。

ABSTRACT

Metal-organic framework (MOFs) are nanoporous materials that could be used to capture carbon dioxide from the exhaust gas of fossil fuel power plants to mitigate climate change. In this work, we design and train a message passing neural network (MPNN) to predict simulated CO$_2$ adsorption in MOFs. Towards providing insights into what substructures of the MOFs are important for the prediction, we introduce a soft attention mechanism into the readout function that quantifies the contributions of the node representations towards the graph representations. We investigate different mechanisms for sparse attention to ensure only the most relevant substructures are identified.

研究の動機と目的

• 手動による特徴工学を用いずに、グラフニューラルネットワークを用いてMOFsにおけるCO2吸着を予測する機械学習モデルの開発。
• アテンション機構を用いて、予測に最も寄与する原子的官能基を特定することで、モデルの解釈可能性を向上させること。
• MPNNにおけるアテンションスコアが、MOFsにおける化学的に意味のある構造モチーフを信頼性を持って強調できるかどうかを検証すること。
• 予測精度とスパarsityのバランスをとるために、ソフトマックス、スパースマックス、L0.5正則化という異なるアテンション機構を評価すること。
• 材料科学分野の応用において、MPNNにおけるアテンション機構の限界を調査すること。

提案手法

• MPNNは、MOF結晶構造を無向かつノードラベル付きのグラフとして処理し、ノードは原子、エッジは共有ボーラー半径およびボロノイ面の共有に基づいて形成される。
• ノード特徴量は原子種のワンホットエンコーディングであり、メッセージパッシングはT=4層にわたり、隣接ノードからの情報を集約することでノード表現を反復的に更新する。
• 読み出し関数にソフトアテンション機構を統合し、アテンション重みαvは各ノードの最終的表現がグラフレベルの予測に与える寄与度を定量化する。
• グラフ表現rは、アテンションスコアを用いたノード表現の重み付き和として計算され、その後、正の吸着予測を保証するためソフトプラス変換が施される。
• 3種類のアテンション機構を評価：標準的なソフトマックス、スパースマックス（94％のスパarsityを誘発）、L0.5正則化（λ=0.001およびλ=0.05）でスパarsityと精度のトレードオフを制御。
• モデルの訓練には10分割交差検証を用い、平均絶対偏差（MAD）損失を採用。ハイパーパrameter（r=10, k=70, T=4）はハイパーパrameterサーチにより選定された。

実験結果

リサーチクエスチョン

• RQ1 MPNNにおけるアテンション機構は、MOFsにおけるCO2吸着予測において、化学的に関連する構造モチーフを効果的に強調できるか？
• RQ2 ソフトマックス、スパースマックス、L0.5正則化という異なるアテンション機構は、予測精度とアテンションのスパarsityのバランスにどのように影響するか？
• RQ3 メッセージパッシングの伝播を考慮すると、アテンションスコアが原子ノードの真の重要性をどの程度反映しているか？
• RQ4 解釈可能性を目的として設計されているにもかかわらず、なぜアテンションスコアが一貫して化学的に意味のあるモチーフを特定できないのか？
• RQ5 メッセージパッシングをショートカircuit化することで、材料予測におけるノードレベルの寄与度の解釈可能性を向上させられるか？

主な発見

• ソフトマックスアテンションを用いたMPNNが予測性能が最も高く、テストデータにおいて平均絶対偏差（MAD）0.616 mmol/gを達成した。これは強力な回帰能力を示している。
• スパースマックス機構により高いスパarsity（94％のアテンションスコアが0）が達成されたが、MADは0.666 mmol/gに上昇し、スパarsityと精度のトレードオフが顕在化した。
• λ=0.001でL0.5正則化を適用した場合、アテンションエントロピーが0.72に低下し、MADは0.645 mmol/gを維持した。これはスパarsityを制御可能であり、精度の著しい低下を伴わないことを示している。
• アテンション機構を導入しても、MOFs全体にわたり一貫した化学的に意味のあるパターンは観察されず、構造モチーフ同定における解釈可能性が限定的であることが判明した。
• 著者らは、解釈性の低さの原因を、メッセージパッシングが隣接ノードに情報を広め、類似した表現を生成することで個々のノードの重要性が隠蔽されることにあると説明している。
• 本研究は、現在のMPNNにおけるアテンション機構が、MOF物性予測における信頼できる説明には不十分であると結論づけ、今後の研究としてメッセージパッシングのショートカircuit化によるノード寄与度の分離を提案している。