[논문 리뷰] RobustFill: Neural Program Learning under Noisy I/O

Jacob Devlin, Jonathan Uesato외 4명|arXiv (Cornell University)|2017. 03. 21.

Advanced Neural Network Applications참고 문헌 28인용 수 108

한 줄 요약

이 논문은 실제 문자열 변환 작업(FlashFill)에서 신경 프로그램 합성과 유도(induction)를 비교하고, 가변 크기의 I/O 집합을 인코딩하는 주의(attentional) RNN을 도입하며, FlashFillTest에서 92% 일반화 정확도를 달성하고, 규칙 기반 및 유도 방식에 비해 노이즈에 대한 강건성을 보임을 보인다.

ABSTRACT

The problem of automatically generating a computer program from some specification has been studied since the early days of AI. Recently, two competing approaches for automatic program learning have received significant attention: (1) neural program synthesis, where a neural network is conditioned on input/output (I/O) examples and learns to generate a program, and (2) neural program induction, where a neural network generates new outputs directly using a latent program representation. Here, for the first time, we directly compare both approaches on a large-scale, real-world learning task. We additionally contrast to rule-based program synthesis, which uses hand-crafted semantics to guide the program generation. Our neural models use a modified attention RNN to allow encoding of variable-sized sets of I/O pairs. Our best synthesis model achieves 92% accuracy on a real-world test set, compared to the 34% accuracy of the previous best neural synthesis approach. The synthesis model also outperforms a comparable induction model on this task, but we more importantly demonstrate that the strength of each approach is highly dependent on the evaluation metric and end-user application. Finally, we show that we can train our neural models to remain very robust to the type of noise expected in real-world data (e.g., typos), while a highly-engineered rule-based system fails entirely.

연구 동기 및 목표

• 실세계의 노이즈가 섞인 I/O 변환 작업에서 신경 프로그램 합성과 신경 프로그램 유도를 동기 부여하고 비교한다.
• 가변 크기의 I/O 예제 집합을 인코딩할 수 있는 주의(attention-based) 신경 아키텍처를 개발한다.
• 수작업으로 설계된 규칙 기반 시스템 및 유도 기반 접근법과 대조하여 엔드-투-엔드 성능을 평가한다.
• I/O 예제의 현실적인 노이즈(오타)에 대한 강건성을 평가한다.
• 평가 지표(all-example vs. average-example)가 각 접근법의 강점에 어떻게 영향을 미치는지 정량화한다.

제안 방법

• 지연 풀링(late pooling)을 통해 가변 길이의 무순서 I/O 예제 세트를 인코딩하기 위한 주의 기반 RNN의 새로운 변형을 제안한다.
• 중첩 표현식 및 정규 표현식 기반 추출을 포함한 문자열 변환용 도메인 특화 언어(DSL)로 프로그램을 표현한다.
• 합성적으로 생성된 I/O-프로그램 쌍에서 엔드-투-엔드로 학습하고 빔 검색으로 해독하며, 관찰된 I/O 쌍에 대한 일관성을 검증한다.
• 프로그램 합성(P를 생성하고 I/O에서 실행)과 프로그램 유도(Oy를 직접 생성) 및 수작업 규칙 기반 시스템을 비교한다.
• 관찰된 출력에 바탕해 일관성이 없는 부분 프로그램을 가지치기하기 위한 동적 프로그래밍 유사 제약(DP-Beam)을 디코딩 중 도입한다.

실험 결과

연구 질문

• RQ1 실세계의 FlashFill 유사 작업에서 신경 프로그램 합성이 신경 프로그램 유도보다 더 우수한 성능을 보일 수 있는가?
• RQ2 주의를 사용한 가변 크기 I/O 예제 세트의 인코딩이 합성 정확도에 어떤 영향을 미치는가?
• RQ3 I/O 예제의 노이즈(오타)가 합성, 유도 및 규칙 기반 시스템에 어떤 영향을 미치는가?
• RQ4 다른 평가 지표(all-example vs. average-example)가 합성 대 유도의 지각된 강점에 어떻게 반영되는가?
• RQ5 DSL의 표현력(예: GetSpan)이 실제 사례에서 일반화에 기여하는가?

주요 결과

• 주목(attentional) 기반 아키텍처가 기본 시퀀스-투-시퀀스 baselines를 크게 능가한다(약 25 퍼센트 포인트 이득).
• 최고의 합성 모델은 FlashFillTest에서 92% 일반화 정확도를 달성하여 이전의 최상 neural 접근법(34%)을 능가한다.
• 신경 합성 모델은 노이즈에 대해 수작업으로 만든 규칙 기반 시스템보다 훨씬 강건하다(노이즈 시 80% 대 6% 정확도).
• 신경 유도에 비해 합성은 모든-예제(all-example) 일반화를 더 높게 제공하는 반면, 유도는 평가 예제 전반에서 부분적 정확성을 제공할 수 있으며; 두 방법은 지표에 따라 상호 보완적 강점을 지닌다.
• DP-Beam 디코딩과 이중 주의가 결합된 늦은 풀링이 가장 강력한 결과를 낳으며(Attention-C-DP with Beam=1000가 92% 일반화 달성).
• 유도(Oy 생성)는 유사한 설정에서 53% 일반화, 합성은 81%에 달한다; 유도는 평균 예제 정확도에서 더 잘 수행하지만 모든 예제 정확도에서는 뒤진다.