[논문 리뷰] Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning

Amy X. Lu, Alex X. Lu외 1명|arXiv (Cornell University)|2020. 12. 25.

Genomics and Phylogenetic Studies참고 문헌 53인용 수 8

한 줄 요약

이 논문은 생물학적 서열에서 대비적 자기지도 학습 표현 학습을 위한 천연 데이터 증강 전략으로 분자 진화를 사용하는 것을 제안한다. 진화 궤적을 시각으로 간주함으로써, 동일한 기능을 가진 서열 간의 상호정보를 최대화하여, 비용이 많이 드는 실험적 레이블이 없이도 강건하고 기능적으로 관련된 임베딩을 얻는다.

ABSTRACT

Self-supervised representation learning of biological sequence embeddings alleviates computational resource constraints on downstream tasks while circumventing expensive experimental label acquisition. However, existing methods mostly borrow directly from large language models designed for NLP, rather than with bioinformatics philosophies in mind. Recently, contrastive mutual information maximization methods have achieved state-of-the-art representations for ImageNet. In this perspective piece, we discuss how viewing evolution as natural sequence augmentation and maximizing information across phylogenetic "noisy channels" is a biologically and theoretically desirable objective for pretraining encoders. We first provide a review of current contrastive learning literature, then provide an illustrative example where we show that contrastive learning using evolutionary augmentation can be used as a representation learning objective which maximizes the mutual information between biological sequences and their conserved function, and finally outline rationale for this approach.

연구 동기 및 목표

• 생물학적 서열을 위한 자기지도 학습 방법의 격차를 해결하기 위해, 주로 자연어 처리(NLP)에서 유래한 기법을 사용하는 것에서 벗어나 생물정보학 원리에 기반한 접근을 제안한다.
• 분자 진화가 대비 학습을 위한 생물학적으로 의미 있고 이론적으로 타당한 데이터 증강 전략이 될 수 있는지 탐색한다.
• 진화적 증강이 대비 학습을 통해 서열과 그 보존된 기능 간의 상호정보를 최대화할 수 있음을 보여준다.
• 진화를 천연 '노이즈 채널'로 삼아 유의미한 시각을 생성하는 데 있어 이론적 및 생물학적 근거를 제공한다.
• 진화적 증강을 다양한 후행 생물학적 작업에 적용 가능한 약한 감독, 보편적인 표현 학습 방법으로 위치지운다.

제안 방법

• 진화적 궤적 $t_1, t_2 \sim \mathcal{T}$ 를 계통수에서 샘플링하여 생물학적 서열 $x$ 에 대해 두 시각 $v_1 = t_1(x)$ 와 $v_2 = t_2(x)$ 를 생성함으로써, 분자 진화를 천연 데이터 증강 과정으로 간주한다.
• InfoNCE 손실을 사용하여 두 진화적 시각 간의 상호정보를 최대화하는 대비 학습을 적용하며, 이는 $\mathcal{L}_{\text{NCE}} = -\mathbb{E}_{v_1,v_2^+,v_2^-} \left[ \log \frac{\exp(f(g_1(v_1),g_2(v_2^+))}{\sum_{j=1}^N \exp(f(g_1(v_1),g_2(v_2^-_j)))} \right]$ 로 정의된다.
• 공유 인코더 $g$ 를 사용하여 시각을 잠재 표현 $z_1 = g(v_1)$, $z_2 = g(v_2)$ 로 매핑하며, 양성 쌍과 $N-1$개의 음성 쌍을 구별하는 대비 목표를 설정한다.
• InfoMin 원칙을 활용하여 공유 상호정보 $I(v_1;v_2)$ 가 최소가 되면서도 임무 관련 정보는 유지되는 시각을 선택하며, 계통수적 거리를 제어 장치로 사용한다.
• 진화적 보존을 후행 레이블의 대체 척도로 활용하여, 명시적 레이블 없이도 암묵적인 감독 대비 학습을 가능하게 한다.
• 긍정 쌍을 평가하기 위해 크리틱 함수 $f$ 를 사용하며, 이는 모델이 부수적 변동에 대해 불변이지만 보존된 기능적 특징에 민감한 표현을 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 분자 진화는 생물학적 서열을 위한 대비 자기지도 학습에서 효과적인 데이터 증강 전략으로 사용될 수 있는가?
• RQ2 진화적 증강은 서열과 그 보존된 생물학적 기능 간의 상호정보를 유지하는 표현을 제공하는가?
• RQ3 표준 NLP 기반 증강 기법과 비교해 볼 때, 진화적 증강은 이론적 기반과 생물학적 관련성 측면에서 어떻게 다른가?
• RQ4 실험적 애너테이션 없이도 진화적 시각이 후행 레이블의 약한 감독적 대체 척도로 기능할 수 있는가?
• RQ5 계통수적 거리를 통해 시각 간의 거리를 제어할 경우, InfoMin 원칙 하에서 대비 학습 목표가 얼마나 최적화되는가?

주요 결과

• 진화적 증강은 생물학적으로 타당하고 이론적으로 타당한 방법으로, 표현 학습에서 시각을 생성하며, 유전자형에서 표현형으로의 정보 전달 과정과 일치한다.
• 이 방법은 상호정보 $I(v_1;v_2)$ 의 하한을 확보하며, 이는 보존된 기능 요소를 가진 동일한 기원의 서열에서 유래한 시각일수록 상호정보가 최대화됨을 의미한다.
• 시각 간의 계통수적 거리를 제어함으로써, 공유 상호정보는 최소화하면서도 기능적으로 관련된 특징는 유지되며, 이는 InfoMin 원칙을 충족한다.
• 진화적 보존은 후행 레이블의 의미론적 대체 척도로 작용하여, 명시적 레이블 없이도 약한 감독 대비 학습을 가능하게 한다.
• 이 접근법은 구조 예측, 기능 애너테이션, 원거리 동일성 탐지와 같은 다양한 후행 작업에 적용 가능한 보편적인 표현을 자연스럽게 지원한다.
• 이론적 분석을 통해 진화적 시각은 공유 정보를 최소화하고 임무 관련 정보를 유지할 때 InfoMin 프레임워크 하에서 최적임을 보여준다.