[논문 리뷰] FoldingZero: Protein Folding from Scratch in Hydrophobic-Polar Model

Yanjun Li, Hengtong Kang외 3명|arXiv (Cornell University)|2018. 12. 03.

Protein Structure and Dynamics참고 문헌 23인용 수 6

한 줄 요약

FoldingZero는 두 헤드 딥 컨volution 네트워크(HPNet)와 정규화된 트리용 상한 신뢰도(Upper Confidence Bounds) 알고리즘(R-UCT)을 사용하여 감독 없이 또는 영역 지식 없이 2차원 수소결합-극성(HP) 단백질 구조를 스스로 접히게 하는 딥 강화학습 프레임워크를 제안한다. 감독 없이도 잠재적 구조 지식을 학습함으로써 경쟁 가능한 접힘 결과를 달성하며, 확장성과 실제 단백질 성질 예측 잠재력이 입증된다.

ABSTRACT

De novo protein structure prediction from amino acid sequence is one of the most challenging problems in computational biology. As one of the extensively explored mathematical models for protein folding, Hydrophobic-Polar (HP) model enables thorough investigation of protein structure formation and evolution. Although HP model discretizes the conformational space and simplifies the folding energy function, it has been proven to be an NP-complete problem. In this paper, we propose a novel protein folding framework FoldingZero, self-folding a de novo protein 2D HP structure from scratch based on deep reinforcement learning. FoldingZero features the coupled approach of a two-head (policy and value heads) deep convolutional neural network (HPNet) and a regularized Upper Confidence Bounds for Trees (R-UCT). It is trained solely by a reinforcement learning algorithm, which improves HPNet and R-UCT iteratively through iterative policy optimization. Without any supervision and domain knowledge, FoldingZero not only achieves comparable results, but also learns the latent folding knowledge to stabilize the structure. Without exponential computation, FoldingZero shows promising potential to be adopted for real-world protein properties prediction.

연구 동기 및 목표

• 아미노산 서열에서의 신규 단백질 구조 예측이라는 근본적인 과제를 데이터 기반, 자기지도 학습 접근 방식으로 해결하기 위해.
• 단순화된 수소결합-극성(HP) 모델에서 효율적이고 확장 가능한 단백질 접힘 프레임워크를 개발하기 위해. 이 모델은 추상화에도 불구하고 여전히 NP-완전 문제이다.
• 사전에 존재하는 구조적 주석이나 영역 특화 히وري스틱에 의존하지 않도록 하여, 오직 강화학습을 통해만 훈련함으로써 이를 제거하기 위해.
• 딥 강화학습이 반복 정책 최적화를 통해 잠재적 접힘 패턴을 발견하고 단백질 구조를 안정화시키는 데의 잠재력을 탐색하기 위해.

제안 방법

• FoldingZero는 각 접힘 단계에서 행동 정책와 가치 함수를 예측하기 위해 두 헤드 딥 컨volution 신경망(HPNet)을 사용한다.
• 행동 공간에서의 트리 탐색을 유도하기 위해 정규화된 트리용 상한 신뢰도 알고리즘(R-UCT)을 통합하여 탐색과 이용의 균형을 이룬다.
• 에이전트가 2차원 정사각형 격자에 아미노산을 순차적으로 배치하여 스스로 피하기 보행(self-avoiding walks)과 접촉 규칙을 보장하는 자기 접힘 환경을 사용한다.
• 메모리에 상태, 행동, 보상, 정책를 저장하여 정책 최적화를 위한 반복적인 강화학습 루프를 구현한다.
• 보상 신호는 H-H 접촉 수의 음수로 정의되며, 더 낮은(더 음수인) 값은 더 안정적인 접힘을 의미한다.
• 모델은 감독 없이 환경 피드백에 의존하여 종합적으로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 감독 없이 또는 영역 지식 없이 2차원 HP 단백질 구조를 스스로 접힐 수 있는가?
• RQ2 HP 모델에서 기존 히وري스틱 및 조합 최적화 방법과 비교할 때, HPNet과 R-UCT의 통합 프레임워크는 얼마나 잘 성능을 내는가?
• RQ3 에이전트는 경험을 통해 잠재적 구조 지식—예를 들어 수소결합 핵 형성과 극성 잔기 표면 집적—을 학습하는가?
• RQ4 프레임워크는 벤치마크 데이터셋을 초월한 더 긴 서열로 확장 가능한가? 전역 서열 인식 능력의 한계는 무엇인가?
• RQ5 이 접근 방식은 계산 생물학 및 화학에서 더 복잡한 단백질 모델로 일반화될 수 있는가?

주요 결과

• FoldingZero는 수소결합 잔기를 중심에 뭉치게 하고 극성 잔기를 표면에 놓음으로써 밀도 높은 수소결합 핵을 성공적으로 형성하여 학습된 구조 지식을 보여준다.
• 벤치마크 서열에서 기존 히وري스틱 방법과 비교해 유사한 접힘 품질을 달성하며, H-H 접촉 점수는 알려진 최적 결과에 도달하거나 이를 충족한다.
• Seq4와 같은 긴 서열에서는 H-H 핵 패턴을 유지함으로써 표준 벤치마크를 초월한 확장성을 보여준다.
• Seq3와 같은 일부 사례에서는 에이전트의 국소적 의사결정이 비최적 결과를 초래했으며(예: 최종 수소결합 잔기가 H-H 접촉을 형성하지 못함), 이는 전역 서열 인식 능력의 제한을 시사한다.
• 에이전트는 감독 없이도 강화학습을 통해 잠재적 접힘 패턴을 학습하여 생물학적 지식 없이도 구조를 안정화시킨다.
• 모델는 효율성과 확장성 덕분에 실제 단백질 성질 예측 분야에서 강력한 잠재력을 보이며, 지수적 계산을 피할 수 있다.