[논문 리뷰] TransPolymer: a Transformer-based language model for polymer property predictions

Changwen Xu, Yuyang Wang외 1명|arXiv (Cornell University)|2022. 09. 03.

Machine Learning in Materials Science인용 수 4

한 줄 요약

TransPolymer는 마스크된 언어 모델링을 통해 대규모 비라벨링 중합체 서열에서 학습함으로써 정확하고 데이터 효율적인 중합체 성질 예측을 가능하게 하는 화학적 인지 토크나이저를 갖춘 Transformer 기반 언어 모델이다. 10개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 자기주의(self-attention)와 사전학습이 중합체 서열 간 의존성을 포착하는 데 효과적임을 입증한다.

ABSTRACT

Accurate and efficient prediction of polymer properties is of great significance in polymer design. Conventionally, expensive and time-consuming experiments or simulations are required to evaluate polymer functions. Recently, Transformer models, equipped with self-attention mechanisms, have exhibited superior performance in natural language processing. However, such methods have not been investigated in polymer sciences. Herein, we report TransPolymer, a Transformer-based language model for polymer property prediction. Our proposed polymer tokenizer with chemical awareness enables learning representations from polymer sequences. Rigorous experiments on ten polymer property prediction benchmarks demonstrate the superior performance of TransPolymer. Moreover, we show that TransPolymer benefits from pretraining on large unlabeled dataset via Masked Language Modeling. Experimental results further manifest the important role of self-attention in modeling polymer sequences. We highlight this model as a promising computational tool for promoting rational polymer design and understanding structure-property relationships from a data science view.

연구 동기 및 목표

• 비용이 많이 드는 실험이나 시뮬레이션에 의존하지 않고도 정확하고 효율적인 중합체 성질 예측을 가능하게 하는 딥러닝 모델을 개발하는 것.
• RNN, GNN, 수작업으로 만든 지문 등 기존 모델의 한계를 극복하기 위해 Transformer의 서열 모델링 능력을 활용하는 것.
• 자기주의 메커니즘과 대규모 비라벨링 중합체 서열에서의 사전학습이 중합체 과학에서 일반화 및 표현 학습을 향상시키는지 탐구하는 것.
• 자연어 기반 모델링을 통해 중합체의 구조-성질 관계를 이해하기 위한 데이터 기반 프레임워크를 구축하는 것.

제안 방법

• 화학적 의미와 결합성을 유지하는 토큰으로 중합체 서열을 변환할 수 있도록 화학적 인지 토크나이저를 설계하였다.
• 표준 Transformer 인코더 아키텍처를 기반으로 하며, 다중 헤드 자기주의와 피드포워드 네트워크를 사용해 중합체 서열의 장거리 의존성을 포착한다.
• 모델이 순환하지 않기 때문에 순서를 유지하기 위해 사인 함수 기반의 위치 인코딩을 사용한다.
• 사전학습은 마스크된 언어 모델링(Masked Language Modeling, MLM)을 통해 수행되며, 15%의 토큰이 마스킹(80%), 무작위 토큰으로 대체(10%), 그대로 유지(10%)되어 문맥적 표현을 학습한다.
• 다음 단계의 중합체 성질 예측 작업에서 AdamW 옵timizer와 학습률 스케줄링을 사용해 1층의 MLP 회귀 헤드를 통해 미세조정을 수행한다.
• 미세조정을 최적화하기 위해 계층별 학습률 감소(LLRD) 전략을 적용하여 상단 계층에는 높은 학습률, 깊은 계층에는 낮은 학습률을 적용한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 언어 모델이 성질 예측을 위해 의미 있는 중합체 서열 표현을 효과적으로 학습할 수 있는가?
• RQ2 마스크된 언어 모델링을 통해 대규모 비라벨링 중합체 서열에서 사전학습을 수행하면 다음 단계의 성질 예측 성능이 향상되는가?
• RQ3 변동하는 중합도를 가진 중합체 서열을 모델링할 때 Transformer의 자기주의 메커니즘은 RNN과 GNN에 비해 어떻게 비교되는가?
• RQ4 화학적 인지 토크나이징은 모델이 중합체의 화학 문법과 구조적 패턴을 포착하는 데 얼마나 기여하는가?
• RQ5 모델은 광범위한 중합체 계열과 성질 유형에 대해 광범위하게 일반화되며, 광범위한 재학습 없이도 성능을 유지할 수 있는가?

주요 결과

• TransPolymer는 10개의 다양한 중합체 성질 예측 벤치마크에서 이전의 방법들인 GNN, RNN, 지문 기반 모델을 능가하는 최신 기술 수준의 성능을 달성한다.
• 대규모 비라벨링 데이터셋에서 사전학습한 후 미세조정을 수행할 경우 성능 향상이 뚜렷하게 나타나, 자기지도 학습의 이점이 확인된다.
• 사전학습 단계에서 마스크된 언어 모델링을 사용함으로써 모델은 화학 문법과 문맥적 의존성을 학습하게 되었으며, 이는 30 에포크 동안 이진 교차 엔트로피 손실이 1 이상에서 약 0.07로 점진적으로 감소하는 것으로 입증된다.
• 자기주의 메커니즘이 중합체 서열의 장거리 상호작용을 모델링하는 데 핵심적임을 아블레이션 연구에서 확인할 수 있었으며, 자기주의를 제거할 경우 성능 저하가 발생한다.
• 기계적, 열적, 전자적 성질을 포함한 다양한 중합체 유형과 성질 유형에 대해 강력한 일반화 성능을 보였다.
• 더 큰 데이터셋에서 사전학습을 수행할수록 성능 향상이 이루어지며, 사전학습 데이터 크기가 증가할수록 정확도가 향상됨을 통해 확장성이 입증되었다.