[논문 리뷰] Tensor Product Generation Networks for Deep NLP Modeling

Qiuyuan Huang, Paul Smolensky외 3명|arXiv (Cornell University)|2017. 09. 26.

Multimodal Machine Learning Applications참고 문헌 24인용 수 6

한 줄 요약

이 논문은 자연어 생성을 위한 해석 가능한 표현을 가능하게 하는 TPR 기반의 딥러닝 아키텍처인 텐서 곱 생성 네트워크(TPGN)를 소개한다. 문법적 역할에 기반한 단어 추출을 위해 텐서 곱 해체를 활용함으로써, TPGN은 COCO 이미지 캡션 벤치마크에서 LSTM 기반 베이스라인을 능가하면서도 내부 표현의 역할 기반 클러스터링과 품사 태깅 예측을 통해 의미 있는 설명이 가능하다.

ABSTRACT

We present a new approach to the design of deep networks for natural language processing (NLP), based on the general technique of Tensor Product Representations (TPRs) for encoding and processing symbol structures in distributed neural networks. A network architecture --- the Tensor Product Generation Network (TPGN) --- is proposed which is capable in principle of carrying out TPR computation, but which uses unconstrained deep learning to design its internal representations. Instantiated in a model for image-caption generation, TPGN outperforms LSTM baselines when evaluated on the COCO dataset. The TPR-capable structure enables interpretation of internal representations and operations, which prove to contain considerable grammatical content. Our caption-generation model can be interpreted as generating sequences of grammatical categories and retrieving words by their categories from a plan encoded as a distributed representation.

연구 동기 및 목표

• 자연어 처리를 위한 구조적이고 해석 가능한 기호 처리를 가능하게 하는 텐서 곱 표현(TPR)을 활용한 딥러닝 아키텍처를 개발하는 것.
• LSTM과 같은 표준 순차 모델의 해석 불가능성 문제를 해결하기 위해, 문법적 역할의 구조를 모델의 내부 계산에 통합하는 것.
• 분산 표현을 엔드 투 엔드로 학습하면서도 기호적 구조를 유지하는 것, 특히 자연어 생성에 초점한다.
• TPR 기반 아키텍처가 표준 RNN/LSTM 기반 베이스라인을 능가할 수 있으며, 학습된 표현의 의미 있는 설명이 가능하다는 것을 입증하는 것.

제안 방법

• TPGN 아키텍처는 매트릭스-벡터 곱을 통해 TPR 해체를 수행하도록 설계되어, 분산 문장 표현에서 개별 단어를 추출할 수 있다.
• 내부 표현은 단어 임베딩과 역할 임베딩(예: 주어, 목적어, 동사)의 텐서 곱으로 구성되어, 문장 구조의 벡터 공간 표현을 형성한다.
• 학습된 해체 벡터를 사용해 문법적 역할에 따라 단어를 순차적으로 복원함으로써, 구조화된 생성을 가능하게 한다.
• 모델은 이미지 캡션 생성 작업에서 CNN 인코더가 생성한 이미지 특징과 함께, 역할 기반 해체에 기반한 TPGN 디코더를 사용해 엔드 투 엔드로 훈련된다.
• 해당 아키텍처는 해체 벡터의 클러스터링을 통해 의미 있는 해석을 지원하며, 명사, 동사, 전치사와 같은 문법 카테고리에 해당하는 패턴을 드러낸다.
• 주요 구성 요소로는 역할 기반 해체 벡터와 문장 구조를 복원하기 위한 계획 유사 분산 표현이 포함되어 있다.

실험 결과

연구 질문

• RQ1 구조적이고 해석 가능한 기호 처리를 가능하게 하는 TPR 기반의 딥러닝 아키텍처를 설계할 수 있는가?
• RQ2 TPGN 모델이 이미지 캡션 생성에서 표준 LSTM 기반 모델을 능가하면서도 내부 표현의 해석 가능성을 유지하는가?
• RQ3 TPGN에서 학습된 해체 벡터가 어느 정도로 문법적 역할과 품사에 대응하는가?
• RQ4 TPGN 모델의 내부 구조가 문법 카테고리 기반의 문장 생성 계획을 인코딩하고 있는가?
• RQ5 해체 벡터의 클러스터링 패턴은 생성된 단어의 문법적 및 의미적 성질과 어떻게 관련되어 있는가?

주요 결과

• TPGN 모델은 COCO 데이터셋에서 여러 표준 지표에서 LSTM 기반 베이스라인을 능가하여 우수한 생성 품질을 입증했다.
• TPGN 모델의 해체 벡터는 문법적 카테고리에 따라 의미 있는 방식으로 클러스터링된다: 클러스터 1, 5, 7, 9는 주로 명사적 성격을 띠며, 클러스터 0, 4, 6, 8는 주로 동사적 성격을 띤다.
• 모델의 내부 해체 과정은 첫 번째 단어가 항상 클러스터 2의 역할 기반 해체 벡터를 사용해 생성되고, 두 번째 단어는 클러스터 3의 벡터를 사용한다는 것을 드러내며, 이는 위치 기반의 역할 인코딩을 의미한다.
• 두 번째 이후의 단어들에 대해서는 해체 벡터가 문법적/의미적 성질과 연관되어 있으며, 클러스터 4에 의해 생성된 단어 중 91%가 전치사이고, 클러스터 7에 의해 생성된 단어 중 88%가 명사이다.
• 클러스터 4(전치사)에 의해 생성된 단어의 경우 품사 태깅 예측 정확도가 91%에 달하고, 클러스터 7(명사)의 경우 88%로 나타나, 해체 클러스터와 문법적 구조 사이의 강한 일치를 보여준다.
• TPGN 모델의 내부 표현은 상당한 문법적 정보를 포함하고 있으며, 5,000개의 테스트 캡션에 대해 N/V(명사/동사) 일반화에 대해 높은 일치도를 보이며, 대부분의 카테고리에서 Pc = 0.91–0.98의 수준을 유지한다.