[논문 리뷰] A Re-ranking Model for Dependency Parser with Recursive Convolutional Neural Network

Chenxi Zhu, Xipeng Qiu외 2명|arXiv (Cornell University)|2015. 05. 21.

Natural Language Processing Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 의존 구조 트리 내에서 단어와 어구의 조합적이고 조밀한 표현을 학습하기 위해 재귀적 합성곱 신경망(RCNN)을 제안한다. 이를 통해 $k$-best 파싱 출력의 재순서 매김이 효과적으로 가능해진다. 기존 모델보다 더 효과적으로 문맥적 및 의미적 구조를 포착하기 위해 재귀 아키텍처 내에서 합성곱 특징 추출과 최대 풀링을 결합한 RCNN은 영어 및 중국어 의존 구조 파싱 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

In this work, we address the problem to model all the nodes (words or phrases) in a dependency tree with the dense representations. We propose a recursive convolutional neural network (RCNN) architecture to capture syntactic and compositional-semantic representations of phrases and words in a dependency tree. Different with the original recursive neural network, we introduce the convolution and pooling layers, which can model a variety of compositions by the feature maps and choose the most informative compositions by the pooling layers. Based on RCNN, we use a discriminative model to re-rank a $k$-best list of candidate dependency parsing trees. The experiments show that RCNN is very effective to improve the state-of-the-art dependency parsing on both English and Chinese datasets.

연구 동기 및 목표

• 수동으로 설계된 희박한 특징에 의존하여 과적합에 취약한 전통적인 특징 기반 의존 구조 파서의 한계를 해결하기 위해.
• 모든 노드(단어 및 어구 포함)에 대해 공동으로 조밀한 벡터 표현을 학습하여, 알려지지 않은 어구까지 포함한다.
• 이차 트리가 아닌 다항 트리(k-ary 트리)를 처리할 수 있는 신경망 아키텍처를 설계하여 의존 구조 파싱에 더 넓은 적용 가능성을 확보하기 위해.
• RCNN 기반의 판별 모델을 사용해 $k$-best 후보 트리들을 재순서 매김함으로써 파싱 정확도를 향상시키기 위해.
• 고정된 사전 학습된 임bedding을 사용하는 것이 아니라, 파싱 최적화를 위한 엔드 투 엔드 표현 학습을 가능하게 하기 위해.

제안 방법

• 각 노드와 그 자식들을 의존 구조 트리에서 합성곱 및 풀링 레이어를 사용해 처리하는 재귀적 합성곱 신경망(RCNN)을 제안한다.
• 각 부모-자식 쌍에 대해, 상호작용을 모델링하기 위해 합성곱 레이어를 적용한 후, 가장 정보가 많은 특징을 선택하기 위해 최대 풀링 레이어를 적용한다.
• 각 RCNN 유닛의 출력은 부모 노드의 RCNN 유닛 입력이 되며, 루트 노드까지 재귀적 조합이 가능해진다.
• 루트 노드에서 생성된 고정 길이의 벡터는 전체 의존 구조 트리를 나타내며, 재순서 매김 프레임워크에서 파싱 트리의 점수를 매기는데 사용된다.
• 기본 파서에서 생성한 $k$-best 파싱 출력에 대해 판별적으로 학습하여, 가장 높은 점수를 받는 정확한 트리가 최적화되도록 한다.
• 부모와 자식 노드 간의 상대적 위치를 인코딩하기 위해 위치 임베딩을 도입하여, 합성곱 레이어가 구조적 의존성을 더 잘 포착할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 합성곱 및 풀링 레이어를 갖춘 재귀 신경망이 의존 구조 트리 내에서 문법적 및 조합적 의미 표현을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 RCNN 아키텍처가 이진 트리가 아닌 비이진(k-ary) 의존 구조 트리를 처리하는 데 기존의 재귀 신경망보다 뛰어난가?
• RQ3 RCNN 기반의 재순서 매김이 영어 및 중국어 데이터셋에서 기존 의존 구조 파서의 정확도를 향상시킬 수 있는가?
• RQ4 $k$-best 목록에 오라클 트리가 포함될 경우 RCNN 재순서 매김기의 성능에 어떤 영향을 미치는가?
• RQ5 RCNN 모델이 파싱 외의 다른 자연어 처리 작업(예: 텍스트 분류)으로 일반화되는 정도는 어느 정도인가?

주요 결과

• RCNN 모델은 영어 및 중국어 의존 구조 파싱 벤치마크에서 이전 방법들을 능가하는 최신 기술 성능을 달성한다.
• 재순서 매김 모델은 기본 파서의 정확도를 크게 향상시키며, 특히 $k$-best 목록에 오라클 트리가 포함된 경우 두드러진 성능 향상을 보인다.
• 모델은 $k \leq 64$일 때 가장 우수한 성능을 보이며, 더 큰 $k$ 값은 부족한 음성 샘플로 인해 오류 유형 증가 및 과적합을 유도한다.
• RCNN에 위치 임베딩을 사용함으로써 합성곱 레이어의 구조적 의존성 포착 능력이 향상되어 성능 향상이 이루어진다.
• RCNN 아키텍처는 일반화 가능하며, 파싱 외의 다른 자연어 처리 작업을 위한 문장 수준 표현 모델로도 활용할 수 있다.
• RCNN 기반의 판별적 재순서 매김 접근 방식은 IORNN과 같은 생성 모델보다 훈련 중 잘못된 후보 트리들을 더 효과적으로 활용하여 더 뛰어난 성능을 낸다.