[논문 리뷰] Data Generation as Sequential Decision Making

Philip Bachman, Doina Precup|arXiv (Cornell University)|2015. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 42

한 줄 요약

이 논문은 강화학습을 활용해 데이터 생성과 보간을 순차적 결정 문제로 재구성하며, 가이드드 정책 검색을 통해 훈련되는 새로운 정책 기반 접근법을 제안한다. 신경망을 활용한 반복적이고 피드백 기반의 개선 과정이 다양한 데이터셋과 결측 패턴에서 보간 성능을 크게 향상시킴을 입증하였으며, VAE 보간 및 템플릿 매칭과 같은 기존 베이스라인을 능가한다.

ABSTRACT

We connect a broad class of generative models through their shared reliance on sequential decision making. Motivated by this view, we develop extensions to an existing model, and then explore the idea further in the context of data imputation -- perhaps the simplest setting in which to investigate the relation between unconditional and conditional generative modelling. We formulate data imputation as an MDP and develop models capable of representing effective policies for it. We construct the models using neural networks and train them using a form of guided policy search. Our models generate predictions through an iterative process of feedback and refinement. We show that this approach can learn effective policies for imputation problems of varying difficulty and across multiple datasets.

연구 동기 및 목표

• 데이터 생성을 확률적 결정의 연속으로 간주함으로써 유도적 생성 모델과 강화학습을 통합하고자 한다.
• 순차적 결정 문제와 정책 학습의 관점에서 재해석함으로써 기존의 LSTM 기반 생성 모델을 향상시키고자 한다.
• 데이터 보간을 유한 시간 영역의 마르코프 결정 과정(MDP)으로 공식화하고, 가이드드 정책 검색을 통해 효과적인 정책을 훈련시키고자 한다.
• 다양한 데이터셋과 결측 메커니즘(MCAR, MAR)에서 반복적이고 피드백 기반의 예측 개선 전략의 효과를 평가하고자 한다.

제안 방법

• 에이전트가 입력과 피드백을 바탕으로 결측 값을 반복적으로 개선하는 방식으로, 보간을 유한 시간 영역의 MDP로 공식화한다.
• 두 가지 정책 표현 방식을 제안한다: 하나는 LSTM 모델에 명시적 피드백 루프를 추가한 방식(LSTM-add, LSTM-jump), 另一个是 MDP를 직접 모델링하는 방식(GPSI-add, GPSI-jump).
• 궤도 비용을 최소화하면서 가이드 정책와 일치시키는 일반화된 가이드드 정책 검색(GPS) 프레임워크를 사용해 정책을 훈련시킨다.
• 정책을 파arameterize하기 위해 신경망을 사용하고, 평가를 위해 변동형 하한을 사용해 로그우도를 추정한다.
• 예측을 외부 입력과 내부 오차 신호를 모두 활용해 단계별로 개선하는 피드백 메커니즘을 도입한다.
• 각 단계에서 현재 상태와 이전 단계의 피드백을 바탕으로 작업 가설을 업데이트하는 다단계 개선 프로세스를 사용한다.

실험 결과

연구 질문

• RQ1 강화학습에 의해 이끌리는 순차적 결정 문제로 데이터 생성을 의미적으로 재해석할 수 있는가?
• RQ2 자기회귀 모델에 피드백 루프를 통합하면 표준 자기회귀 생성 방식에 비해 데이터 보간 성능이 어떻게 향상되는가?
• RQ3 가이드드 정책 검색이 다양한 데이터셋과 결측 메커니즘에서 복잡한 보간 작업을 위한 깊은 신경망 정책을 효과적으로 훈련시킬 수 있는가?
• RQ4 반복적 프레임워크에서 개선 단계의 수가 보간된 데이터 품질에 어떤 영향을 미치는가?
• RQ5 제안된 정책 기반 보간 접근법이 VAE 보간 및 템플릿 매칭과 같은 기존의 기준 모델에 비해 어떻게 성능을 냈는가?

주요 결과

• 제안된 GPSI 및 LSTM 기반 모델은 모든 데이터셋과 결측 패턴에서 VAE 보간, 솔직한 템플릿 매칭, 또는라클 템플릿 매칭을 뛰어넘는 성능을 보였다.
• MAR-16 조건에서 MNIST 데이터셋에서 GPSI-jump 모델은 177점을 기록했으며, LSTM-add 모델(177점)과 VAE-imp(374점)를 모두 능가했고, 낮은 점수가 더 우수한 성능을 의미한다.
• MAR-25 조건에서 TFD 데이터셋에서 GPSI-jump 모델은 1384점을 기록했고, VAE-imp(1399점)보다 우수함을 보여, 보간 정확도에서 일관된 승리를 거두었다.
• MAR-17 조건에서 SVHN 데이터셋에서 GPSI-jump 모델은 572점을 기록했고, VAE-imp(624점)를 능가하여 다양한 데이터 모odal에서의 강건한 성능을 입증했다.
• 개선 단계의 수를 늘일수록 성능 향상이 나타났으며, 특히 추가적 업데이트 전략(GPSI-add)에서 두드러져 반복적 개선이 예측 품질을 향상시킨다는 것을 시사한다.
• LSTM 기반 모델(LSTM-add, LSTM-jump)이 더 직접적인 GPSI 모델보다 일반적으로 뛰어난 성능을 보였으며, 이는 순환 메모리 구조가 개선 과정에서 장거리 의존성을 더 잘 포착함을 시사한다.