[논문 리뷰] Extrapolative Controlled Sequence Generation via Iterative Refinement

Vishakh Padmakumar, Richard Yuanzhe Pang외 2명|arXiv (Cornell University)|2023. 03. 08.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 반복적으로 국소적 편집을 적용함으로써 훈련 분포를 초월하는 속성 값을 가진 시퀀스를 생성하는 방법인 반복적 통제 외삽(ICE)을 제안한다. ICE는 작은 속성 향상가지로 생성된 시퀀스 쌍에 대해 훈련하며, 자연어 처리 및 단백질 공학 과제에서 외삽적 통제 생성 측면에서 최신 기술(SOTA) 성능을 달성한다. PPLM 및 Genhance와 같은 기존 방법들을 능가한다.

ABSTRACT

We study the problem of extrapolative controlled generation, i.e., generating sequences with attribute values beyond the range seen in training. This task is of significant importance in automated design, especially drug discovery, where the goal is to design novel proteins that are extit{better} (e.g., more stable) than existing sequences. Thus, by definition, the target sequences and their attribute values are out of the training distribution, posing challenges to existing methods that aim to directly generate the target sequence. Instead, in this work, we propose Iterative Controlled Extrapolation (ICE) which iteratively makes local edits to a sequence to enable extrapolation. We train the model on synthetically generated sequence pairs that demonstrate small improvement in the attribute value. Results on one natural language task (sentiment analysis) and two protein engineering tasks (ACE2 stability and AAV fitness) show that ICE considerably outperforms state-of-the-art approaches despite its simplicity. Our code and models are available at: https://github.com/vishakhpk/iter-extrapolation.

연구 동기 및 목표

• 약물 발견 및 단백질 공학 분야에서 훈련 분포를 초월하는 속성 값을 가진 시퀀스를 생성하는 문제를 해결한다.
• 훈련 중에 관찰된 속성 값 범위를 초월해 일반화하지 못하는 기존의 통제 생성 방법의 한계를 극복한다.
• 직접 극단적 값을 생성하는 대신 국소적이고 점진적인 향상 방식을 활용하는 단순하면서도 효과적인 외삽 생성 프레임워크를 개발한다.
• 실제 생물학적 및 언어학적 적용 사례를 포함한 자연어 및 단백질 시퀀스 생성 과제에서 반복적 보완의 효과성을 입증한다.

제안 방법

• 마스크된 언어 모델을 사용해 소규모 속성 향상이 이루어진 시퀀스 쌍을 합성 생성하고, 이를 기반으로 시퀀스 생성기를 훈련한다.
• 목표 속성 값을 증가 또는 감소시키는 데 도움을 주기 위해 제어 토큰 <inc> 및 <dec>을 사용한다.
• 기본 시퀀스(예: 원시 단백질 또는 중립적 정서의 텍스트)에서 시작해 추론 시 반복적으로 훈련된 생성기를 적용함으로써 누적적인 향상을 달성한다.
• 스코어러가 추론 중에 속성 값을 평가하는 스코어러 기반 추론 설정과 스코어러를 완전히 생략하는 스코어러 없는 추론 설정을 모두 지원한다.
• 속성 값을 신뢰성 있게 감소 또는 증가시키는 편집을 학습하는 조건부 생성기를 사용하여, 훈련 데이터를 초월한 외삽을 가능하게 한다.
• 특히 길이 제한이 있는 단백질 과제에서 모델 호환성을 유지하기 위해 생성 과정에서 잘라내기 및 시퀀스 길이 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 반복적인 국소적 편집이 훈련 분포를 초월하는 속성 값을 가진 시퀀스 생성에 일반화될 수 있는가?
• RQ2 분포 내 데이터에서 소규모 점진적 향상을 학습하는 것이 분포 외 속성 값으로의 효과적인 외삽을 가능하게 하는가?
• RQ3 PPLM 및 Genhance와 같은 최신 기술 방법들과 비교했을 때 ICE는 단백질 및 NLP 과제에서 외삽 성능 측면에서 어떤가?
• RQ4 특히 분포 경계 근처에서 스코어러가 신뢰할 수 없을 경우, 스코어러의 사용이 외삽 설정에서 생성 품질을 얼마나 향상시키는가?
• RQ5 오라클 피드백에 의존하지 않고도 반복적 보완 방식이 외삽 영역에서 다양하고 고품질의 시퀀스를 생성할 수 있는가?

주요 결과

• ICE는 평가된 모든 과제에서 표준 통제 생성 방법(PPLM 등)과 최신 기술 외삽 방법(Genhance 등)을 모두 크게 능가한다.
• AAV 적합도 과제에서 스코어러 기반 추론을 사용한 ICE는 상위 100개의 생성 돌연변이에서 평균 적합도 점수 1.750을 기록했으며, 이는 다음으로 우수한 방법인 반복적 샘플링(1.452)을 뛰어넘었다.
• ACE2 안정성 과제에서 ICE는 10회의 반복 후 최종 ddG 값 -5.57을 달성했으며, 이는 훈련 범위(-4에서 10)를 초월하는 성공적인 외삽을 보여주었다.
• AAV 과제에서 훈련 데이터에 원시 단백질보다 우수한 시퀀스가 전혀 없었음에도 불구하고, ICE는 기준선보다 더 높은 적합도 점수를 가진 다양하고 고품질의 돌연변이를 생성했다.
• AAV 과제에서 스코어러는 거의 개선 효과를 보이지 않아, 외삽 영역에서 모델의 내부 보완 과정이 스코어러 가이던스보다 더 견고하다는 것을 시사한다.
• ICE에서 생성된 적합도 점수의 분포는 더 평탄하고 외삽 영역에 걸쳐 넓게 퍼져 있어, 기준선 대비 더 넓고 일관된 성능을 보이고 있음을 나타낸다.