[논문 리뷰] Mathematical Reasoning in Latent Space

Dennis Lee, Christian Szegedy외 3명|arXiv (Cornell University)|2019. 09. 26.

Topic Modeling참고 문헌 20인용 수 13

한 줄 요약

이 논문은 신경망을 사용하여 고정된 유한 차원 잠재 공간 내에서 다단계 수학적 추론을 수행하는 방법을 제안한다. 그래프 신경망을 학습시켜 재작성 성공 여부와 재작성된 공식의 잠재 표현을 예측함으로써, 재작성된 문장에 직접 학습하지 않고도 네 단계에 걸쳐 비차별적인 추론 성능을 달성한다. 이는 잠재 공간 내에서 근사 추론이 가능하다는 것을 보여준다.

ABSTRACT

We design and conduct a simple experiment to study whether neural networks can perform several steps of approximate reasoning in a fixed dimensional latent space. The set of rewrites (i.e. transformations) that can be successfully performed on a statement represents essential semantic features of the statement. We can compress this information by embedding the formula in a vector space, such that the vector associated with a statement can be used to predict whether a statement can be rewritten by other theorems. Predicting the embedding of a formula generated by some rewrite rule is naturally viewed as approximate reasoning in the latent space. In order to measure the effectiveness of this reasoning, we perform approximate deduction sequences in the latent space and use the resulting embedding to inform the semantic features of the corresponding formal statement (which is obtained by performing the corresponding rewrite sequence using real formulas). Our experiments show that graph neural networks can make non-trivial predictions about the rewrite-success of statements, even when they propagate predicted latent representations for several steps. Since our corpus of mathematical formulas includes a wide variety of mathematical disciplines, this experiment is a strong indicator for the feasibility of deduction in latent space in general.

연구 동기 및 목표

• 신경망이 명시적 기호 실행에 의존하지 않고 고정된 차원의 잠재 공간에서 근사 수학적 추론을 수행할 수 있는지 조사하는 것.
• 잠재 표현이 다수의 재작성 단계에 걸쳐 의미 정보를 유지하는 정도를 평가하는 것. 이를 통해 원래 공식에 접근하지 않고도 추론이 가능하게 하는지 확인하는 것.
• 재작성 성공 예측을 활용하여 잠재 공간 내 추론 품질을 측정하는 단순하고 확장 가능한 평가 프레임워크를 개발하는 것.
• 잠재 공간 내 추론이 더 빠르고 더 민첩한 자동 정리 증명 시스템의 기초가 될 잠재력을 탐색하는 것.

제안 방법

• 수학 정리의 문법적 및 의미적 구조를 기반으로 그래프 신경망을 학습시켜 1024차원의 잠재 공간에 통합하는 것.
• 잠재 표현과 재작성 파라미터만을 사용하여 주어진 재작성 규칙이 공식에 성공적으로 적용될지를 예측하도록 모델을 학습시키는 것.
• 성공적인 재작성의 경우, 결과 공식의 잠재 표현까지 예측함으로써 종단 간 잠재 공간 전파를 가능하게 하는 것.
• 중간 공식에 접근하지 않고도 이전에 예측된 임베딩에서 미래의 잠재 상태를 반복적으로 예측함으로써 다단계 추론을 수행하는 것.
• 직접 계산된 임베딩과 예측된 임베딩 시퀀스의 조합을 사용하여 최대 네 단계의 재작성 단계에 걸쳐 추론 품질을 평가하는 것.
• 재작성 성공 예측 정확도, 임베딩 유사도(l² 거리), 무작위 및 사용 기준과의 비교를 통해 성능을 측정하는 것.

실험 결과

연구 질문

• RQ1 신경망은 고정된 차원의 잠재 공간 내에서 순수하게 다단계 수학적 추론을 수행할 수 있는가?
• RQ2 다수의 재작성 단계에 걸쳐 잠재 표현에서 의미 정보가 어느 정도 유지되는가?
• RQ3 잠재 공간 내에서만 추론을 수행할 경우, 재작성 성공 예측 능력이 크게 떨어지는가?
• RQ4 원래 정리에 대해서만 훈련된 모델이 재작성된 공식에 대해 명시적인 미세조정 없이 일반화할 수 있는가?

주요 결과

• 재작성된 문장에 직접 학습하지 않았음에도 불구하고, 모델은 잠재 공간 내에서 순수하게 네 단계의 추론을 수행한 후에도 재작성 성공에 대한 상당한 예측 능력을 유지한다.
• 다양한 단계에 걸쳐 일관된 l² 거리 향상으로 인해, 예측된 잠재 표현이 랜덤 임베딩보다 유의미하게 더 진짜 임베딩에 가까운 것으로 나타났다.
• 다단계 예측 모델의 성능은 점진적으로 저하되지만 여전히 랜덤 기준보다 상당히 높게 유지되어 의미 정보의 효과적인 전파를 보여준다.
• 그림 4의 'Pred (Multi-step)' 곡선은 모델이 두 단계를 초월해 강력한 추론 능력을 유지하고 있음을 보여주며, 성능 저하가 측정 가능하지만 지배적이지는 않다.
• 그림 4의 'True' 곡선은 성능 저하의 주요 원인이 잠재 공간 내 오차 누적가 아니라 모델이 미래 상태를 완벽하게 예측하지 못하기 때문임을 시사한다.