[論文レビュー] Learning a Generative Model for Validity in Complex Discrete Structures

David M. Janz, Jos van der Westhuizen+3 more|arXiv (Cornell University)|Dec 5, 2017

Machine Learning in Materials Science被引用数 6

ひとこと要約

この論文では、部分列が有効な離散的構造（例：有効なPython式やSMILES文字列）に到達できるかどうかを予測する深層再帰的検証モデルを提案する。強化学習に類似した学習とデータ拡張を用いることで、変分オートエンコーダーにおける系列生成性能が向上し、SMILESベースのVAEでは有効な分子のデコード率が0.5%から22.3%に向上した。

ABSTRACT

Deep generative models have been successfully used to learn representations for high-dimensional discrete spaces by representing discrete objects as sequences and employing powerful sequence-based deep models. Unfortunately, these sequence-based models often produce invalid sequences: sequences which do not represent any underlying discrete structure; invalid sequences hinder the utility of such models. As a step towards solving this problem, we propose to learn a deep recurrent validator model, which can estimate whether a partial sequence can function as the beginning of a full, valid sequence. This validator provides insight as to how individual sequence elements influence the validity of the overall sequence, and can be used to constrain sequence based models to generate valid sequences -- and thus faithfully model discrete objects. Our approach is inspired by reinforcement learning, where an oracle which can evaluate validity of complete sequences provides a sparse reward signal. We demonstrate its effectiveness as a generative model of Python 3 source code for mathematical expressions, and in improving the ability of a variational autoencoder trained on SMILES strings to decode valid molecular structures.

研究の動機と目的

• 分子やコードのような離散的構造向けの深層生成モデルにおける無効な系列生成問題に対処すること。
• 部分列の有効性を予測する生成モデルを開発し、制約に配慮した生成を可能にすること。
• 手作業で作成した文法に依存することを減らし、データから直接有効性ルールを学習すること。
• 事後的に無効なデコードをフィルタリングすることで、変分オートエンコーダーの潜在空間の有用性を高めること。
• ラベル付き有効性データが限られている状況でも、アクティブラーニングと摂動に基づくデータ拡張を用いて、有効な学習を可能にすること。

提案手法

• 部分列 $x_{1:t}$ が有効な完全な系列に拡張可能かどうかを予測する有効性関数 $\tilde{v}(x_{1:t})$ を近似する再帰的ニューラルネットワークを訓練する。
• モデルが部分列が有効な系列に拡張可能である確率を予測するように、強化学習に類似した目的関数で学習する。
• 既知の有効な系列（例：SMILES文字列）に対して最小限の摂動を加えることで、情報豊富なネガティブ例を生成するデータ拡張を適用する。
• データが少ない状況では、相互情報量に基づくアクティブラーニングを用いて、不確実性の高い系列を選択し、ラベル付けの効率を高める。
• デコード中に後処理としてマスクを統合する：モデルが一時的に有効であると判断する文字の生成のみを許可する。
• 検証モデルの信頼度に基づいて、プレトレーニング済みの文字ベースVAEのデコーダーのログティスをマスクすることで、検証モデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 学習された検証モデルは、部分列が有効な離散的構造に拡張可能かどうかを効果的に予測できるか？
• RQ2 手作業で作成した文法や大規模なラベル付きデータセットに依存せずに、有効性制約をどのように学習できるか？
• RQ3 アクティブラーニングとデータ拡張を組み合わせることで、最小限の監視情報で系列有効性モデルの学習をどの程度改善できるか？
• RQ4 学習された検証モデルを統合することで、VAEのような下流の生成モデルにおける生成系列の有効性はどの程度向上するか？
• RQ5 再トレーニングなしに、既存のモデルに検証モデルを後処理として適用できるか？また、デコード品質は顕著に向上するか？

主な発見

• 提案された検証モデルにより、VAEの事前分布から生成される有効な分子の割合が、ベースラインのCVAE（0.5%）から22.3%に向上した。
• 摂動を加えたSMILES文字列において、モデルはほぼ完璧な有効性予測を達成し、微小な構造的変化に対しても強い一般化性能を示した。
• アクティブラーニングを組み合わせた場合、Python 3の数学的式に対しても、ラベル付きデータが限られても高い性能を発揮した。
• 文法に基づくVAE（7.2%）と比較して、有効性の割合が1桁向上し、シンプルなCVAE（0.5%）を著しく上回った。
• 既存のVAEに検証モデルを再トレーニングなしに後処理として統合したが、再構成精度は保持されながら、デコードの有効性が著しく向上した。
• 本アプローチは可変長の系列に対してロバストであり、元のオートエンコーダーのアーキテクチャを変更する必要がなかった。