[논문 리뷰] Can Neural Networks Learn Symbolic Rewriting?

Bartosz Piotrowski, Josef Urban외 2명|arXiv (Cornell University)|2019. 11. 07.

Natural Language Processing Techniques참고 문헌 15인용 수 13

한 줄 요약

이 논문은 신경 기계 번역(NMT) 모델이 두 데이터셋—자동 정리 증명에서 유도된 AIM 루프와 합성 다항 정규화 데이터셋—에 대해 훈련함으로써 기호 재작성 규칙을 학습할 수 있는지 조사한다. 제한된 모델 용량과 짧은 훈련 시간에도 불구하고 NMT 모델은 놀랍게 높은 정확도를 달성하였으며, 최고 성능을 보인 기본 OpenNMT 모델의 경우 최대 67.7%의 정확도를 기록하였다. 이는 신경망이 복잡한 기호 재작성 규칙을 학습할 수 있음을 보여주지만, 일반화 능력과 데이터 泄露 문제는 여전히 핵심적인 우려 사항임을 시사한다.

ABSTRACT

This work investigates if the current neural architectures are adequate for learning symbolic rewriting. Two kinds of data sets are proposed for this research -- one based on automated proofs and the other being a synthetic set of polynomial terms. The experiments with use of the current neural machine translation models are performed and its results are discussed. Ideas for extending this line of research are proposed, and its relevance is motivated.

연구 동기 및 목표

• 현재의 신경망 아키텍처, 특히 NMT 모델이 기호 재작성 작업을 학습할 수 있는지 조사하기.
• 자동 정리 증명에서 유도된 AIM 루프 데이터셋과 합성 다항 정규화 데이터셋이라는 두 가지 다른 기호 재작성 데이터셋에서 NMT 모델의 성능 평가하기.
• 특히 상수와 부호의 변동으로 인한 잠재적 데이터 泄露 상황을 고려할 때 신경 모델의 기호 재작성에서의 일반화 능력 평가하기.
• 기존 평가 관행의 한계를 파악하고 기호 기계 학습 분야에서 더 엄격한 분석 방법 제안하기.

제안 방법

• 두 개의 데이터셋을 구축하였다: Prover9에서의 paramodulation 추론을 통한 AIM 루프 정리 증명에서 유도된 데이터셋과, 무작위로 생성된 다항식 항목을 표준 형식으로 정규화한 데이터셋.
• AIM 데이터셋은 20개의 별도의 재작성 규칙(8개의 지상형, 12개의 비지상형)을 포함하며, 항목들은 기호의 선형 시퀀스로 토큰화된다.
• 다항식 데이터셋은 각 세트당 300,000개의 예제를 포함하며, 변수와 상수의 수가 다양하게 설정되어 있으며, 지나치게 길거나 복잡한 항목을 걸러내기 위해 필터링되었다.
• 실험은 LSTM 기반 NMT 모델을 사용하였으며, 스케일드 Luong 어텐션을 적용하였고, 훈련에 60%의 데이터, 검증에 10%, 테스트에 30%의 데이터를 사용하였다.
• 500개의 유닛과 범위가 10인 빔 서치를 사용한 기본 OpenNMT 모델도 평가되었으며, 이는 이전 연구에서 제시된 더 큰 Transformer 모델과의 비교도 수행되었다.
• 데이터 유사도 분석을 위해 상수를 'CONST' 토큰으로 대체하고, 테스트 예제와 훈련 세트를 비교하여 기억 현상이나 중복 여부를 탐지하였다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 모델은 공식 수학 증명에서 유도된 기호 재작성 규칙을 학습할 수 있는가?
• RQ2 훈련 데이터에 상수의 변동으로 인한 겹치는 패tern이 존재할 경우, NMT 모델은 새로운 기호 표현에 대해 얼마나 잘 일반화하는가?
• RQ3 특히 다항식 정규화와 같은 합성 기호 영역에서, 모델 성능이 데이터의 구조와 분포에 얼마나 의존하는가?
• RQ4 단순한 신경 모델이 최소한의 하이퍼파라미터 튜닝과 짧은 훈련 시간으로도 기호 재작성 작업에서 높은 정확도를 달성할 수 있는가?
• RQ5 기호 기계 학습에서 데이터 기억 현상의 위험은 무엇이며, 이를 어떻게 탐지하고 완화할 수 있는가?

주요 결과

• 기본 OpenNMT 모델은 BWD 통합 데이터셋에서 67.7%의 정확도를 기록하여, 더 작은 NMT 모델(18.4%)보다 뚜렷이 뛰어난 성능을 보였다.
• Lample & Charton(2020)의 Transformer 모델은 동일한 BWD 데이터셋에서 거의 완벽한 성능(99.6%)을 달성하여, 모델 규모가 결과에 매우 큰 영향을 미친다는 것을 시사한다.
• IBP 데이터셋의 경우, 상수와 부호를 무시할 경우 테스트 예제의 75%가 훈련 예제와 유사하여, 잠재적인 데이터 泄露 및 과적합 위험이 존재함을 시사한다.
• 다항식 데이터셋에서 변수와 상수의 수를 2개에서 3개로 증가시킬 경우 성능이 85.5%에서 71.8%로 감소하여, 입력 복잡도에 민감함을 보였다.
• 분석 결과, 가장 복잡한 다항식 데이터셋에서 테스트 예제의 최대 92%가 상수를 제외한 모odulo에서 유일한 것으로 나타나, 높은 수준의 일반화 요구 조건이 있음을 시사한다.
• 단지 1~2시간의 짧은 훈련 시간에도 불구하고 모델들이 놀랍게 높은 성능을 달성하여, 제한된 자원으로도 신경망이 기호 재작성 규칙을 학습할 수 있음을 시사한다.