[論文レビュー] Extrapolative Controlled Sequence Generation via Iterative Refinement

Vishakh Padmakumar, Richard Yuanzhe Pang+2 more|arXiv (Cornell University)|Mar 8, 2023

Software Engineering Research被引用数 6

ひとこと要約

本稿では、基本的なシーケンスに対して局所的な修正を繰り返し適用することで、学習分布外の属性値を持つシーケンスを生成するための方法である反復的制御的外挿（ICE）を提案する。ICEは、小さな属性向上を伴う合成的に生成されたシーケンスペアで学習を行い、自然言語処理およびタンパク質工学の両タスクで外挿的制御生成において最先端の性能を達成し、PPLM や Genhance などの手法を上回る。

ABSTRACT

We study the problem of extrapolative controlled generation, i.e., generating sequences with attribute values beyond the range seen in training. This task is of significant importance in automated design, especially drug discovery, where the goal is to design novel proteins that are extit{better} (e.g., more stable) than existing sequences. Thus, by definition, the target sequences and their attribute values are out of the training distribution, posing challenges to existing methods that aim to directly generate the target sequence. Instead, in this work, we propose Iterative Controlled Extrapolation (ICE) which iteratively makes local edits to a sequence to enable extrapolation. We train the model on synthetically generated sequence pairs that demonstrate small improvement in the attribute value. Results on one natural language task (sentiment analysis) and two protein engineering tasks (ACE2 stability and AAV fitness) show that ICE considerably outperforms state-of-the-art approaches despite its simplicity. Our code and models are available at: https://github.com/vishakhpk/iter-extrapolation.

研究の動機と目的

• 薬剤発見やタンパク質工学の分野において、学習分布外の属性値を持つシーケンスを生成する課題に対処すること。
• 学習中に観測された属性値の範囲を超えて一般化できない既存の制御生成手法の限界を克服すること。
• 極端な値を直接生成するのではなく、局所的で段階的な改善を活用する、シンプルでありながら効果的な外挿生成フレームワークの開発。
• 現実の生物学的および言語的応用を想定した、自然言語およびタンパク質配列生成タスクにおける反復的精錬の有効性を実証すること。

提案手法

• マスクド言語モデルを用いて摂動を生成することで、小さな属性向上を伴う合成的シーケンスペアを用いて、シーケンス生成器を学習する。
• 制御トークン <inc> および <dec> を用いて、モデルがターゲット属性値を増加または減少させる方向に段階的な修正を行うように誘導する。
• 推論時に、ベースシーケンス（例：ワイルドタイプのタンパク質または中立的なセンチメントのテキスト）から開始して、訓練済み生成器を繰り返し適用し、累積的な改善を達成する。
• スコアラーを用いた推論設定とスコアラーを省いた推論設定の両方をサポートし、生成中に属性値を評価するか、完全に省略する。
• 属性値を確実に減少または増加させる編集を学習する条件付き生成器を用い、学習データを超えた外挿を可能にする。
• 特に長さ制限があるタンパク質タスクにおいてもモデル互換性を維持するため、生成中に切り捨てとシーケンス長制約を適用する。

実験結果

リサーチクエスチョン

• RQ1 反復的局所的修正は、学習分布外の属性値を持つシーケンスの生成に一般化可能か？
• RQ2 分布内データにおける小さな段階的改善の学習が、分布外の属性値への有効な外挿を可能にするか？
• RQ3 PPLM や Genhance などの最先端手法と比較して、ICE はタンパク質および NLP タスクにおける外挿性能でどのように差をつけるか？
• RQ4 スコアラーが分布境界付近で信頼性が低い場合に、スコアラーの使用が外挿的設定における生成品質にどの程度向上効果をもたらすか？
• RQ5 オラクルフィードバックに依存せずに、反復的精錬アプローチは外挿領域で多様で高品質なシーケンスを生成可能か？

主な発見

• ICE は、標準的な制御生成手法（例：PPLM）および最先端の外挿的手法（例：Genhance）の両方を、評価されたすべてのタスクで顕著に上回った。
• AAV 致死性タスクでは、スコアラーを用いた推論で、上位100個の生成突然変異体の平均致死性スコアが 1.750 に達し、次に良い手法（反復的サンプリング）の 1.452 を上回った。
• ACE2 安定性タスクでは、10回の反復後に最終的な ddG 値が -5.57 に達し、学習範囲（ddG から -4 から 10）を超えて成功した外挿を示した。
• AAV タスクの学習データにワイルドタイプを上回るシーケンスがゼロであった場合でさえ、ICE はより高い致死性スコアを持つ多様で高品質な突然変異体を生成した。
• AAV タスクではスコアラーが僅かな改善しかもたらさなかったため、外挿領域ではスコアラーのガイドラインよりもモデルの内部精錬プロセスがより頑健であることが示唆された。
• ICE からの致死性スコアの分布は、外挿領域に広くかつ一貫して広がっており、ベースラインと比較してより平坦で、広範かつ一貫性のあるパフォーマンスを示している。