[논문 리뷰] Multi-task Learning for Macromolecule Classification, Segmentation and Coarse Structural Recovery in Cryo-Tomography

Chang Liu, Xiangrui Zeng외 3명|PubMed|2018. 05. 16.

Advanced Electron Microscopy Techniques and Applications참고 문헌 21인용 수 10

한 줄 요약

이 논문은 다중 작업 학습을 통해 냉동전자 톰그래피(CECT) 서브톰그래머에서 생고분자 분류, 의미적 세분화, 그리고 거친 구조 복원을 동시에 수행하는 새로운 3D 합성곱 신경망인 DSM-Net을 제안한다. 작업 간 공유된 특징을 통해 단일 작업 기반 모델 대비 분류 및 세분화 정확도를 향상시키며, 훈련 데이터에 포함되지 않은 새로운 생고분자 구조인 GroEL(PDB: 1KP8)에 대해서도 일반화 성능을 보이며, 구조 복원에 대해 5.0의 푸리에 쉘 상관관계(FSC) 점수를 기록한다.

ABSTRACT

Cellular Electron Cryo-Tomography (CECT) is a powerful 3D imaging tool for studying the native structure and organization of macromolecules inside single cells. For systematic recognition and recovery of macromolecular structures captured by CECT, methods for several important tasks such as subtomogram classification and semantic segmentation have been developed. However, the recognition and recovery of macromolecular structures are still very difficult due to high molecular structural diversity, crowding molecular environment, and the imaging limitations of CECT. In this paper, we propose a novel multi-task 3D convolutional neural network model for simultaneous classification, segmentation, and coarse structural recovery of macromolecules of interest in subtomograms. In our model, the learned image features of one task are shared and thereby mutually reinforce the learning of other tasks. Evaluated on realistically simulated and experimental CECT data, our multi-task learning model outperformed all single-task learning methods for classification and segmentation. In addition, we demonstrate that our model can generalize to discover, segment and recover novel structures that do not exist in the training data.

연구 동기 및 목표

• 세포 전자 냉동 톰그래피(CECT) 데이터의 낮은 신호 대 잡음 비율, 누락 원추 효과, 그리고 구조적 다양성 문제를 해결하기 위해.
• 서브톰그래머 분석을 위한 계단식 단일 작업 학습 파이프라인의 한계를 극복하기 위해, 이는 계산 비용이 높고 특징 공유 기능이 부족하다.
• 서브톰그래머에서 동시에 분류, 세분화 및 거친 구조 복원을 수행하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 훈련 데이터에 포함되지 않은 새로운 생고분자 구조에 대한 모델의 일반화 능력을 평가하기 위해.
• 구조 복원을 감독된 이미지 복원 작업으로 재정의하여 세분화 및 분류를 위한 특징 학습을 향상시키기 위해.

제안 방법

• 분류, 세분화, 구조 복원을 위한 세 개의 병렬 서브넷을 갖는 공유 백본을 가진 3D CNN인 DSM-Net을 제안한다.
• 공유된 인코더-디코더 아키텍처에 스위프트 연결을 통합하여 공간적 세부 정보를 유지하고 다중 해상도 특징 학습을 가능하게 한다.
• 유도 전이를 통해 세분화 및 분류 성능 향상을 위해 구조 복원을 보조 작업으로 통합한다.
• 분류를 위한 교차 엔트로피, 세분화를 위한 이진 교차 엔트로피, 구조 복원을 위한 평균 제곱 오차를 조합한 다중 작업 손실 함수를 사용한다.
• 잠재 특징에 T-SNE와 k-means 클러스터링을 적용하여 훈련 세트에 없는 새로운 구조를 탐지하고 시각화한다.
• 완전 연결 층의 1024차원 출력을 이용해 불변의 구조적 임베딩를 생성하여 훈련 데이터에 없는 생고분자를 탐지하고 클러스터링한다.

실험 결과

연구 질문

• RQ1 다중 작업 3D CNN 프레임워크는 단일 작업 학습 대비 CECT 서브톰그래머에서 분류 및 세분화 성능을 동시에 향상시킬 수 있는가?
• RQ2 거친 구조 복원을 보조 작업으로 통합함으로써 특징 공유를 통해 분류 및 세분화 성능이 향상되는가?
• RQ3 모델은 훈련 데이터에 존재하지 않는 생고분자 구조, 예를 들어 GroEL(PDB: 1KP8)를 탐지하고 복원할 수 있는가?
• RQ4 다양하지만 완전하지 않은 생고분자 클래스 세트로 훈련된 모델이 새로운 구조에 얼마나 잘 일반화되는가?
• RQ5 공유된 백본에서 학습된 특징들이 잠재 표현의 클러스터링을 통해 새로운 구조적 클래스를 탐지하는 데 얼마나 기여하는가?

주요 결과

• DSM-Net은 시뮬레이션 및 실험적 CECT 데이터셋 모두에서 단일 작업 모델 대비 분류 및 세분화 작업에서 뚜렷한 성능 향상을 보였다.
• 구조 복원을 보조 작업으로 통합함으로써 유도 전이와 공유된 특징 학습을 통해 세분화 및 분류 정확도가 향상되었다.
• 분류 서브넷의 잠재 특징 클러스터링을 통해 훈련 데이터에 없던 GroEL 구조(PDB: 1KP8)를 성공적으로 탐지하였다.
• T-SNE 시각화 결과 GroEL 서브톰그래머가 다른 구조들과는 별개로 뚜렷하고 조밀한 클러스터를 이룬 것으로 확인되어 효과적인 특징 학습이 이루어졌음을 입증하였다.
• 복원된 GroEL의 구조는 푸리에 쉘 상관관계(FSC) 점수 5.0을 기록하여 거친 복원임에도 불구하고 합리적인 구조 충실도를 확보하였다.
• 모델는 노이즈와 누락 원추 효과에 대해 강건성을 보이며, 테스트 데이터의 다양한 신호 대 잡음 비율에서도 성능을 유지하였다.