[논문 리뷰] Neural Attribute Machines for Program Generation

Matthew Amodio, Swarat Chaudhuri외 1명|arXiv (Cornell University)|2017. 05. 25.

Machine Learning and Algorithms참고 문헌 44인용 수 21

한 줄 요약

Neural Attribute Machines (NAMs)는 순환 신경망과 속성 문법을 통합하여 유형 안전성 및 변수 스코프와 같은 구조적 제약을 엄격히 준수하는 프로그램을 생성한다. 논리적 기계로부터의 맥락을 입력에 보강하고 삼가 값 손실 함수를 최적화함으로써, 유일하게 유효한 샘플만으로 훈련된 표준 RNN과 비교해 생성 과정에서의 문법 위반을 크게 감소시킨다.

ABSTRACT

Recurrent neural networks have achieved remarkable success at generating sequences with complex structures, thanks to advances that include richer embeddings of input and cures for vanishing gradients. Trained only on sequences from a known grammar, though, they can still struggle to learn rules and constraints of the grammar. Neural Attribute Machines (NAMs) are equipped with a logical machine that represents the underlying grammar, which is used to teach the constraints to the neural machine by (i) augmenting the input sequence, and (ii) optimizing a custom loss function. Unlike traditional RNNs, NAMs are exposed to the grammar, as well as samples from the language of the grammar. During generation, NAMs make significantly fewer violations of the constraints of the underlying grammar than RNNs trained only on samples from the language of the grammar.

연구 동기 및 목표

• 유형 안전성 및 변수 스코프와 같은 복잡한 형식적 제약 조건을 충족하는 프로그램을 생성하도록 신경 시퀀스 모델을 훈련하는 데 도전하는 것.
• 표준 RNN은 유효한 프로그램만으로 훈련되더라도 여전히 문법 규칙을 위반하는 한계를 극복하는 것.
• 프로그래밍 언어 제약 조건의 명시적 배경 지식을 속성 문법을 통해 신경 생성에 통합하는 것.
• 정확한 예측, 법적으로 잘못된 예측(제약 조건 하에 유효한 경우), 불법 예측(제약 위반)을 구분하는 삼가 값 손실 함수를 사용해 훈련 프레임워크를 개발하는 것.
• 형식적 문법 제약 조건을 통합함으로써 일반화 능력 향상과 제약 위반 감소가 프로그램 생성에서 가능해지는지 입증하는 것.

제안 방법

• NAMs는 프로그램 구문 트리 위에서 속성 문법 제약 조건을 유지하고 평가하는 논리적 기계와 순환 신경망(RNN)을 결합한다.
• 입력 시퀀스는 현재 생성 단계와 관련된 구조적 제약 조건을 나타내는 고정 길이의 맥락 벡터로 보강된다.
• 삼가 값 손실 함수를 사용하여 예측이 정확한지, 법적으로 잘못된(제약 조건 하에 유효한)지, 불법적인지에 따라 다른 방식으로 손실을 부과한다.
• 속성 문법은 L-속성 체계로 지정되며, 합성 및 유도된 속성이 트리 구축 과정에서 유형 및 스코프 규칙을 강제한다.
• RNN은 추상 구문 트리(_AST_)의 노드를 생성하도록 훈련되며, 논리적 기계는 각 단계에서 유일하게 유효하고 제약을 충족하는 생산만 선택하도록 보장한다.
• 이 프레임워크는 신경 컴ponent가 입력 데이터와 제약 맥락에 조건부로 시퀀스를 생성하도록 허용하는 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 시퀀스 모델은 복잡한 구조적 제약 조건(예: 유형 안전성, 변수 스코프)을 충족하는 프로그램을 생성하도록 훈련시킬 수 있는가?
• RQ2 속성 문법을 통한 명시적 문법 제약 조건 통합이 표준 RNN과 비교해 일반화 능력 향상과 제약 위반 감소에 어떻게 기여하는가?
• RQ3 정확, 법적으로 잘못된, 불법 예측을 구분하는 삼가 값 손실 함수가 훈련 안정성과 출력 품질 향상에 얼마나 기여하는가?
• RQ4 신경-논리 하이브리드 아키텍처는 제약 조건이 있는 프로그램 생성 작업에서 순수 신경 모델을 능가할 수 있는가?
• RQ5 NAM 프레임워크는 프로그램 합성 외의 다른 구조적 시퀀스 생성 작업으로 확장 가능한가?

주요 결과

• 표준 RNN과 동일한 데이터셋으로 훈련된 경우조차도, NAMs는 생성 과정에서의 문법 위반 수를 유의미하게 감소시킨다. 이는 RNN이 유효한 프로그램만으로 훈련되었음에도 불구하고 여전히 유의미한 수의 불법 프로그램을 생성하기 때문이다.
• 삼가 값 손실 함수는 오류 유형을 구분함으로써 더 나은 학습 역학을 가능하게 하여 일반화 능력 향상과 불법 출력 감소에 기여한다.
• 속성 문법 맥락을 입력 시퀀스에 통합함으로써 모델은 과적합 없이 드문 또는 새로운 구조적 패턴을 처리하는 능력이 향상된다.
• 비틀린 RNN은 유일하게 유효한 프로그램으로만 훈련되었음에도 불구하고 여전히 무시할 수 없는 수의 불법 프로그램을 생성한다. 이는 데이터 중심 훈련만으로는 복잡한 제약 조건을 강제로 구현하는 데 부족하다는 것을 시사한다.
• NAM 프레임워크는 복잡한 제약 조건(예: 변수 사용 간 유형 일치)에 대해 테스트 케이스를 포함한 새로운 사례에 잘 일반화된다. 이는 표준 모델(예: SGWC)이 맥락의 변동성으로 인해 어려움을 겪는 영역에서 특히 그렇다.