[논문 리뷰] Combining Representation Learning with Logic for Language Processing

Tim Rocktäschel|arXiv (Cornell University)|2017. 12. 27.

Topic Modeling참고 문헌 2인용 수 5

한 줄 요약

이 논문은 자연어 처리에서 대량의 레이블이 부여된 데이터셋에 대한 의존도를 줄이기 위해 표현 학습과 일阶논리의 새로운 통합을 제안한다. 논리 규칙을 미분 가능한 손실 함수로 매핑하고, 신경망 링크 예측기들을 엔드 투 엔드로 훈련시킴으로써 논리적 사전 지식을 벡터 표현에 직접 통합함으로써 일반화 능력을 향상시키고, 레이블이 극히 적은 데이터로도 해석 가능한 논리 프로그램 유도를 가능하게 한다.

ABSTRACT

The current state-of-the-art in many natural language processing and automated knowledge base completion tasks is held by representation learning methods which learn distributed vector representations of symbols via gradient-based optimization. They require little or no hand-crafted features, thus avoiding the need for most preprocessing steps and task-specific assumptions. However, in many cases representation learning requires a large amount of annotated training data to generalize well to unseen data. Such labeled training data is provided by human annotators who often use formal logic as the language for specifying annotations. This thesis investigates different combinations of representation learning methods with logic for reducing the need for annotated training data, and for improving generalization.

연구 동기 및 목표

• 자연어 처리를 위한 표현 학습에서 대량의 레이블이 부여된 훈련 데이터셋에 대한 의존도를 줄이기 위해.
• 일阶논리 규칙으로 표현된 도메인 전문가 지식을 신경망 모델에 통합하기 위해.
• 특히 자원이 부족한 술어에 대해 표현 벡터의 일반화 능력을 향상시키기 위해.
• Prolog를 영감으로 삼은 신경망을 통한 엔드 투 엔드 미분 가능한 논리적 추론을 가능하게 하기 위해.
• 기울기 기반 최적화를 통해 설명 가능한 논리 프로그램을 개발하기 위해.

제안 방법

• 함수 없는 일阶논리 규칙을 미분 가능한 손실 함수로 매핑하여 술어와 상수의 벡터 표현을 정규화하는 방식.
• 레이블이 부여된 사실과 논리 규칙에서 유도된 손실 함수를 모두 사용해 훈련하는 신경망 링크 예측 모델을 활용하여 논리적 사전 지식을 벡터 공간에 직접 통합하는 방식.
• 규칙를 지도 없이 정규화하는 스케일러블한 대안을 제안하여, 규칙를 기반으로 한 계산의 폭발을 방지하는 방식.
• Prolog의 역방향 추론 알고리즘을 기반으로 한 재귀적 구성 방식을 활용해 엔드 투 엔드로 미분 가능한 증명기 설계.
• 기울기 역전파를 통해 신경 증명기를 훈련시켜 올바른 논리적 추론을 위한 기호 표현을 최적화하는 방식.
• 문장 쌍 간의 논리적 관계를 식별하기 위해 조건부 인코딩과 어텐션 기반의 순환 신경망을 활용하는 방식.

실험 결과

연구 질문

• RQ1 일阶논리 규칙을 효과적으로 신경 벡터 표현에 통합하여 일반화 능력을 향상시킬 수 있는가?
• RQ2 규칙를 완전히 기반으로 하지 않고도 논리적 사전 지식을 표현 학습에 통합할 수 있는가?
• RQ3 미분 가능한 신경 증명기가 기울기 하강법을 통해 설명 가능한 논리 프로그램을 학습할 수 있는가?
• RQ4 논리 규칙을 통합할 경우 레이블이 부여된 훈련 데이터의 필요성이 얼마나 감소하는가?
• RQ5 어텐션 기반 RNN은 자연어 문장 쌍 간의 논리적 관계를 정확히 탐지할 수 있는가?

주요 결과

• 모델은 레이블이 전혀 없거나 극히 적은 훈련 데이터로도 정확한 술어 표현을 학습하는 데 성공하였으며, 오직 논리 규칙만을 활용하였다.
• 모델은 규칙에 명시적으로 기술되지 않은 술어로도 일반화를 보이며, 논리적 인도적 편향이 강하게 작용함을 입증하였다.
• 스케일러블한 정규화 방법은 규칙 기반의 기반을 방지하면서도 대규모 규칙 세트에서도 성능을 유지하였으며, 이는 규칙 기반 기반의 접근 방식과 대비된다.
• 엔드 투 엔드로 미분 가능한 증명기는 기울기 하강법을 통해 설명 가능한 논리 프로그램을 학습하였으며, 학습된 표현을 기반으로 정확한 증명을 달성하였다.
• 어텐션 기반 RNN 모델은 규칙 추출 실험에서 문장 쌍 간의 논리적 관계를 식별하는 데 높은 정확도(최대 0.94)를 기록하였다.
• 논리와 표현 학습의 통합은 자원이 부족한 상황과 제로샷 술어 학습 시나리오에서 성능 향상에 크게 기여하였다.