[논문 리뷰] Actively Learning what makes a Discrete Sequence Valid

David M. Janz, Jos van der Westhuizen외 1명|arXiv (Cornell University)|2017. 08. 15.

Machine Learning and Algorithms참고 문헌 19인용 수 15

한 줄 요약

이 논문은 분자나 코드와 같은 유효한 이산 객체를 더 효율적이고 정확하게 생성할 수 있도록, 부분 이산 시퀀스가 유효한 전체 시퀀스로 이어질 확률을 능동적으로 학습하는 베이지안 순환 신경망을 제안한다. 유의미한 학습 시퀀스를 선택하기 위해 능동 학습을 사용함으로써, 균형 잡힌 샘플링에 비해 훨씬 낮은 학습 비용으로도 높은 유효성 확보가 가능하다.

ABSTRACT

Deep learning techniques have been hugely successful for traditional supervised and unsupervised machine learning problems. In large part, these techniques solve continuous optimization problems. Recently however, discrete generative deep learning models have been successfully used to efficiently search high-dimensional discrete spaces. These methods work by representing discrete objects as sequences, for which powerful sequence-based deep models can be employed. Unfortunately, these techniques are significantly hindered by the fact that these generative models often produce invalid sequences. As a step towards solving this problem, we propose to learn a deep recurrent validator model. Given a partial sequence, our model learns the probability of that sequence occurring as the beginning of a full valid sequence. Thus this identifies valid versus invalid sequences and crucially it also provides insight about how individual sequence elements influence the validity of discrete objects. To learn this model we propose an approach inspired by seminal work in Bayesian active learning. On a synthetic dataset, we demonstrate the ability of our model to distinguish valid and invalid sequences. We believe this is a key step toward learning generative models that faithfully produce valid discrete objects.

연구 동기 및 목표

• 고차원 공간(예: 분자 구조나 코드)에서 발생하는 유효하지 않은 시퀀스 생성 문제를 해결하기 위해.
• 부분 시퀀스가 유효한 전체 시퀀스로 이어질 가능성을 예측할 수 있는 모델을 개발하여, 유효성 예측과 함께 시퀀스 요소의 해석 가능성도 제공하기 위해.
• 학습 데이터의 불균형 문제를 해결하기 위해, 유의미한 부분 시퀀스를 효율적으로 선택하여 레이블링하는 능동 학습을 활용하기 위해.
• 자동에코더 및 기타 생성 모델의 학습을 보다 효과적으로 하기 위해, 초기 생성 단계부터 유효한 시퀀스로 향도를 안내하기 위해.

제안 방법

• 부분 시퀀스 x₁:t가 유효한 전체 시퀀스로 이어질 확률 P(s(x)=1 | x₁:t)를 추정하기 위해 베이지안 순환 신경망(RNN)을 훈련한다.
• 서로 다른 정보 기반의 능동 학습 전략을 사용하여, 레이블링이 필요한 가장 유의미한 부분 시퀀스를 선택함으로써, 필요한 레이블링 예제의 수를 줄인다.
• 베이지안 RNN에서 제공하는 불확실성 추정치를 활용하여, 모델이 가장 불확실한 시퀀스를 우선순위에 올려 샘플 효율성을 향상시킨다.
• 온도 조절 탐색을 갖춘 볼츠만 샘플링을 적용하여, 훈련된 모델에서 다양하면서도 유효한 시퀀스를 생성한다.
• 외부 검증기로부터 유효 또는 비유효로 레이블링된 시퀀스를 기반으로, 확률적 출력을 사용한 교차 엔트로피 손실을 통해 RNN을 훈련한다.
• 훈련된 검증기를 생성 모델 파이프라인에 통합하여, 디코더가 항상 높은 확률의 유효한 시퀀스만 생성하도록 이끈다.

실험 결과

연구 질문

• RQ1 순환 신경망이 부분 이산 시퀀스가 유효한 전체 시퀀스로 이어질 가능성을 효과적으로 예측할 수 있는가?
• RQ2 능동 학습은 랜덤 샘플링 또는 균형 잡힌 샘플링에 비해, 시퀀스 유효성 예측기 학습에서 샘플 효율성과 모델 성능 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 후속 생성 모델이 생성하는 유효하지 않은 시퀀스의 수를 크게 줄일 수 있는가?
• RQ4 모델의 불확실성 기반 샘플링 전략이 수렴 속도와 최종 성능 향상에 얼마나 기여하는가?

주요 결과

• 능동 학습 방법은 더 적은 학습 샘플로도 바닐라 및 균형 잡힌 샘플링 방법보다 평균 AUC(ROC 곡선 아래 면적)이 높게 달성되었다.
• 능동 학습은 특히 시퀀스 길이와 알파벳 크기가 증가함에 따라 학습 시간과 계산 비용을 크게 줄였다.
• 능동 방법은 균형 잡힌 기준 대비 유사한 다양성 수준에서 100%의 유효성을 달성했고, 바닐라 방법은 유효한 시퀀스를 단 10%만 생성했다.
• 모델는 시퀀스 생성의 중간 단계에서도 유효성을 정확히 예측하여, 유효하지 않은 경로로의 진입을 조기에 방지할 수 있었다.
• 베이지안 RNN는 신뢰할 수 있는 불확실성 추정치를 제공하였으며, 이는 효과적인 능동 학습과 샘플 선택에 핵심적인 역할을 했다.
• 이 방법은 확장성과 효율성을 입증하였으며, 샘플 효율성과 월클럭 학습 시간 측면에서 균형 잡힌 샘플링을 뛰어넘는 성능을 보였다.