[논문 리뷰] Neural Network Models for Implicit Discourse Relation Classification in English and Chinese without Surface Features

Attapol Rutherford, Vera Demberg외 1명|arXiv (Cornell University)|2016. 06. 07.

Topic Modeling참고 문헌 29인용 수 10

한 줄 요약

이 논문은 어휘나 분석 결과와 같은 표면적 특징에 의존하지 않고 영어 및 중국어의 암묵적 논리관계 분류를 위한 피드포워드 및 LSTM 신경망 모델을 제안한다. 놀랍게도, 최고의 피드포워드 모델이 LSTM 및 수작업 특징을 사용하는 시스템을 모두 능가하며, 영어(36.26% 정확도)와 중국어(85.45% 정확도) 데이터셋에서 최신 기술 수준의 성능을 달성했으며, CDTB 스타일의 첫 번째 신경망 기반 중국어 논리관계 분석기로 기록된다.

ABSTRACT

Inferring implicit discourse relations in natural language text is the most difficult subtask in discourse parsing. Surface features achieve good performance, but they are not readily applicable to other languages without semantic lexicons. Previous neural models require parses, surface features, or a small label set to work well. Here, we propose neural network models that are based on feedforward and long-short term memory architecture without any surface features. To our surprise, our best configured feedforward architecture outperforms LSTM-based model in most cases despite thorough tuning. Under various fine-grained label sets and a cross-linguistic setting, our feedforward models perform consistently better or at least just as well as systems that require hand-crafted surface features. Our models present the first neural Chinese discourse parser in the style of Chinese Discourse Treebank, showing that our results hold cross-linguistically.

연구 동기 및 목표

• 어휘 사전이나 문법 분석과 같은 표면적 특징에 의존하지 않는 암묵적 논리관계 분류를 위한 신경망 모델을 개발하는 것.
• 저자원 환경에서 언어적 구조가 부족한 논리관계 분석 설정에서 고차원 단어 벡터가 이를 보완할 수 있는지 조사하는 것.
• 피드포워드, LSTM, 트리-LSTM와 같은 다양한 신경망 아키텍처가 언어 간에 논리관계 분류에 얼마나 효과적인지 평가하는 것.
• 중국어 논리관계 트리뱅크(CDTB)를 위한 첫 번째 신경망 기반 논리관계 분석기를 구축하고, 언어 간 일반화 능력을 검증하는 것.

제안 방법

• 표면 수준의 특징이 전혀 없는, 대규모 단어어순 코퍼스에서 훈련된 밀집 단어 임베딩(300D)을 입력 표현으로 사용한다.
• 두 논리관계 요소를 인코딩하기 위해 피드포워드 및 LSTM 아키텍처를 사용하며, 상호작용은 완전히 연결된 히든 레이어를 통해 모델링한다.
• 영어 및 중국어 기가워드 코퍼스를 기반으로 CBOW 및 스킵그램 모델을 사용해 단어 벡터를 훈련하고, 개발 세트에서 초모델을 튜닝한다.
• 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련하고, 중국어의 경우 7중 교차검증, 영어의 경우 표준 CoNLL 테스트 분할을 통해 평가한다.
• 중국어의 경우 스킵그램 임베딩이 항상 CBOW보다 성능이 뛰어나며, 모델 성능은 벡터 차원 수와 아키텍처 선택에 민감하게 반응한다.
• 기준 비교 시스템은 단어 쌍, 의존성 규칙, 브라운 클러스터 등 수작업 특징을 사용한 최대 엔트로피 모델을 사용한다.

실험 결과

연구 질문

• RQ1 표면적 특징이 없는 신경망 모델이 암묵적 논리관계 분류에서 수작업 특징에 의존하는 시스템과 경쟁하거나 승리할 수 있는가?
• RQ2 저자원 환경에서 단순한 피드포워드 아키텍처가 더 복잡한 순환 아키텍처인 LSTM보다 성능이 뛰어나게 되는가?
• RQ3 고차원 단어 벡터가 문법 분석이나 의미 어휘 사전과 같은 언어적 구조의 부재를 얼마나 효과적으로 보완할 수 있는가?
• RQ4 영어에서 훈련된 신경망 모델이 언어 특화 자원 없이도 중국어 논리관계 분석에 효과적으로 일반화될 수 있는가?

주요 결과

• 최고의 피드포워드 모델은 CoNLL 2015-2016 영어 공동 과제에서 36.26%의 정확도를 기록했으며, 표면적 특징을 사용한 이전 최고 기록(34.45%)을 뛰어넘었다.
• 중국어 논리관계 트리뱅크에서 최고의 피드포워드 모델은 85.45%의 정확도를 달성했으며, 모든 특징 세트를 사용한 강력한 특징 기반 기준 모델(84.16%)을 초월했다.
• 피드포워드 모델은 영어와 중국어 양쪽에서 모든 LSTM 변종보다 뛰어난 성능을 보였으며, 이는 이 작업에서 순차적 모델링이 필수적이지 않음을 시사한다.
• 중국어에서는 스킵그램 단어 벡터가 CBOW보다 더 뛰어난 성능을 보였지만, 영어에서는 유사한 차이가 관찰되지 않아 임베딩 품질에 언어 특화 영향이 있음을 시사한다.
• 결과는 고차원 단어 벡터가 수작업 특징을 효과적으로 대체할 수 있으며, 언어 특화 자원 없이도 강력한 언어 간 일반화가 가능한 논리관계 분석을 가능하게 한다는 것을 보여준다.
• 본 연구는 CDTB 스타일의 중국어 논리관계 트리뱅크를 위한 첫 번째 신경망 기반 논리관계 분석기를 제안하며, 언어 간 이식 가능성의 타당성을 확인한다.