[논문 리뷰] LEARNING TO ORGANIZE KNOWLEDGE WITH N-GRAM MACHINES

Fan Yang, Jiazhong Nie외 2명|arXiv (Cornell University)|2017. 01. 01.

Topic Modeling인용 수 3

한 줄 요약

이 논문은 지식을 압축되고 색인 가능한 표현으로 인코딩하여 텍스트 길이에 관계없이 효율적인 질의 응답을 가능하게 하는 기호적 신경망 프레임워크인 N-그램 머신(NGM)을 제안한다. NGM은 REINFORCE를 사용해 엔드 투 엔드로 훈련하고, 비드 서치와 자동에코딩 안정화를 통해 이산 잠재 변수와 큰 검색 공간을 관리함으로써 bAbI 및 라이프러닝 bAbI 작업에서 높은 정확도와 확장성을 달성한다.

ABSTRACT

Deep neural networks (DNNs) had great success on NLP tasks such as language modeling, machine translation and certain question answering (QA) tasks. However, the success is limited at more knowledge intensive tasks such as QA from a big corpus. Existing end-to-end deep QA models (Miller et al., 2016; Weston et al., 2014) need to read the entire text after observing the question, and therefore their complexity in responding a question is linear in the text size. This is prohibitive for practical tasks such as QA from Wikipedia, a novel, or the Web. We propose to solve this scalability issue by using symbolic meaning representations, which can be indexed and retrieved efficiently with complexity that is independent of the text size. More specifically, we use sequence-to-sequence models to encode knowledge symbolically and generate programs to answer questions from the encoded knowledge. We apply our approach, called the N-Gram Machine (NGM), to the bAbI tasks (Weston et al., 2015) and a special version of them (life-long bAbI) which has stories of up to 10 million sentences. Our experiments show that NGM can successfully solve both of these tasks accurately and efficiently. Unlike fully differentiable memory models, NGM's time complexity and answering quality are not affected by the story length. The whole system of NGM is trained end-to-end with REINFORCE (Williams, 1992). To avoid high variance in gradient estimation, which is typical in discrete latent variable models, we use beam search instead of sampling. To tackle the exponentially large search space, we use a stabilized auto-encoding objective and a structure tweak procedure to iteratively reduce and refine the search space.

연구 동기 및 목표

• 전체 문서를 선형적으로 처리하는 엔드 투 엔드 딥 러닝 QA 모델의 확장성 문제를 해결하여, 위키피디아나 장편 이야기와 같은 대규모 코퍼스에 대해 실용적이지 않은 모델을 개선한다.
• 텍스트 길이 증가에 따라 추론 시간과 성능이 떨어지는 기존의 미분 가능 메모리 모델의 비효율성을 극복한다.
• 원시 텍스트를 기호적이고 색인 가능한 프로그램으로 변환하여 빠르고 일정한 시간 복잡도로 지식 검색과 추론을 가능하게 하는 방법을 개발한다.
• 입력 크기와 관계없이 정확성과 효율성을 보장하는 엔드 투 엔드 시스템을 훈련하여, 인코딩된 지식에서 실행 가능한 프로그램을 생성한다.
• 이산 잠재 변수 모델에 대한 강화학습에서의 높은 분산 문제를 비드 서치와 안정화된 자동에코딩 목표함수를 통해 완화한다.

제안 방법

• 자연어 텍스트를 지식을 압축되고 구조화된 형태로 담고 있는 기호적 의미 표현(프로그램)으로 변환하기 위해 순서에서 순서로 모델을 사용한다.
• 이산 잠재 변수의 훈련에서 경 Gradient 분산을 줄이기 위해 확률적 샘플링 대신 비드 서치를 사용한 REINFORCE를 적용한다.
• 훈련 안정성을 향상시키고 프로그램 생성을 위한 검색 공간을 줄이기 위해 안정화된 자동에코딩 목표함수를 활용한다.
• 프로그램 생성 중에 반복적으로 검색 공간을 개선하고 축소하기 위해 구조 튜닝 절차를 도입한다.
• 기호적 지식 표현을 효율적으로 색인하고 검색하여 원본 텍스트 크기와 관계없이 일정 시간 내 응답을 가능하게 한다.
• 질의에 대한 정확한 프로그램 생성을 목표로 하여, 강화학습을 사용해 전체 NGM 시스템을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 신경망을 사용해 엔드 투 엔드로 기호적 지식 표현을 학습할 수 있는가? 이를 통해 확장 가능한 질의 응답이 가능해지는가?
• RQ2 색인 가능한 기호적 프로그램을 사용하면 QA 시스템에서 추론 시간이 텍스트 길이에 선형적으로 의존하는 문제를 제거할 수 있는가?
• RQ3 안정화된 자동에코딩과 함께 비드 서치를 사용할 경우, 이산 잠재 변수 모델의 프로그램 생성에 있어 훈련 안정성과 성능이 어떻게 향상되는가?
• RQ4 NGM은 최대 1,000만 개 문장까지 포함한 장기적 bAbI 작업과 같은 장문의 컨텍스트 작업으로 일반화될 수 있는가?
• RQ5 지식 집약형 QA 작업에서, 정확도와 추론 효율성 측면에서 NGM은 완전히 미분 가능한 메모리 모델을 얼마나 뛰어넘는가?

주요 결과

• NGM은 표준 bAbI 작업과 최대 1,000만 개 문장을 포함한 라이프러닝 bAbI 변형 작업 모두에서 높은 정확도를 달성한다.
• NGM의 추론 시간 복잡도는 스토리 길이에 영향을 받지 않아, 입력 크기와 관계없이 일정 시간 내 응답이 가능하다.
• 다른 기반 메모리 모델과 달리, 문장 수 증가에 따라 성능과 추론 속도가 떨어지지 않아 안정적으로 유지된다.
• 샘플링 대신 비드 서치를 사용함으로써 훈련 중 경 Gradient 분산이 크게 감소하여 수렴성과 안정성이 향상된다.
• 안정화된 자동에코딩 목표함수와 구조 튜닝 절차는 검색 공간을 효과적으로 줄여 효율적이고 정확한 프로그램 생성을 가능하게 한다.
• NGM는 신경망으로 학습된 표현에서 기호적 프로그램을 생성함으로써 확장 가능하고 정확하며 효율적인 지식 집약형 질의 응답이 가능하다는 것을 입증한다.