[논문 리뷰] Shallow Syntax in Deep Water

Swabha Swayamdipta, Matthew E. Peters외 3명|arXiv (Cornell University)|2019. 08. 29.

Topic Modeling참고 문헌 31인용 수 9

한 줄 요약

이 논문은 문맥적 단어 표현에 얕은 구문 구조(예: 어절 구분)를 통합하면 NLP 작업 성능이 향상되는지 조사한다. 두 가지 방법을 제안한다: 예측된 얕은 문장 분석을 기반으로 ELMo를 미리 훈련시키고, 하류 모델에 구문 특징을 추가하는 것. 높은 정확도의 구문 분석(97% F1)에도 불구하고, 두 방법 모두 ELMo 전용 기준선에 비해 유의미한 성능 향상을 얻지 못했으며, 탐색 실험을 통해 ELMo의 표현 방식이 이미 문법 지식을 포함하고 있음을 확인하여 명시적인 얕은 문법 인식이 불필요하다는 결론을 내렸다.

ABSTRACT

Shallow syntax provides an approximation of phrase-syntactic structure of sentences; it can be produced with high accuracy, and is computationally cheap to obtain. We investigate the role of shallow syntax-aware representations for NLP tasks using two techniques. First, we enhance the ELMo architecture to allow pretraining on predicted shallow syntactic parses, instead of just raw text, so that contextual embeddings make use of shallow syntactic context. Our second method involves shallow syntactic features obtained automatically on downstream task data. Neither approach leads to a significant gain on any of the four downstream tasks we considered relative to ELMo-only baselines. Further analysis using black-box probes confirms that our shallow-syntax-aware contextual embeddings do not transfer to linguistic tasks any more easily than ELMo's embeddings. We take these findings as evidence that ELMo-style pretraining discovers representations which make additional awareness of shallow syntax redundant.

연구 동기 및 목표

• 얕은 구문 구조가 NLP에서 문맥적 단어 표현을 향상시키는지 평가하기.
• 예측된 얕은 문장 분석을 기반으로 ELMo 스타일 표현을 미리 훈련시키는 것이 성능 향상에 기여하는지 조사하기.
• 문맥적 단어 표현과 함께 자동으로 추출된 구문 특징을 하류 모델에 통합했을 때의 영향 평가하기.
• 얕은 구문 인식을 반영한 표현 방식이 일반적인 ELMo 표현 방식보다 언어 탐색 작업으로의 전이 능력이 뛰어나지 않은지 확인하기.
• 미리 훈련 과정에 문법 감독을 통합하는 데 있어 다양한 훈련 전략 비교하기.

제안 방법

• 이전 단어와 예측된 얕은 구문 구조를 모두 고려하는 공동 미리 훈련 목표를 갖춘 개선된 ELMo.
• CoNLL 2000과 Penn Treebank 데이터셋을 사용해 BiLSTM-CRF 모델을 훈련시켜 높은 정확도(97% F1)의 얕은 구문 구조 주석 생성.
• 감성 분석 및 NER 등 하류 모델에 예측된 구문 특징 통합(예: 양방향 주의 분류 네트워크).
• 단계적 훈련 방식 적용: 먼저 시퀀스 인코더를 미리 훈련하고, 이후 문법 인코더를 동결하거나 미세조정하면서 훈련.
• Liu 등(2019)의 블랙박스 언어 탐색 프로브를 적용해 문맥 임베딩 내의 문법 지식 전이 능력 평가.
• 효율성과 성능 측면에서 종합 훈련 방식과 단계적 훈련 방식(동결 또는 미세조정된 문법 인코더) 비교.

실험 결과

연구 질문

• RQ1 예측된 얕은 문장 분석을 기반으로 ELMo를 미리 훈련시키면 하류 NLP 성능이 향상되는가?
• RQ2 자동으로 추출된 구문 특징이 문맥적 단어 표현과 결합되었을 때 추가적인 이점이 있는가?
• RQ3 얕은 구문 인식을 반영한 문맥 임베딩이 일반적인 ELMo 표현 방식보다 언어 탐색 작업으로의 전이 능력이 뛰어나지 않는가?
• RQ4 단계적 훈련 전략이 종합 훈련 방식보다 효율성과 정확도 측면에서 뛰어나지 않는가?
• RQ5 ELMo의 미리 훈련 과정이 얼마나 깊이 문법 지식을 포괄하고 있는가? 이로 인해 명시적인 문법 통합이 불필요한가?

주요 결과

• mSynC 미리 훈련 방법이나 자동으로 추출된 구문 특징의 추가 모두, ELMo 전용 기준선 대비 네 가지 하류 작업(NER, 감성, 문장 분석, 공호성 분석)에서 유의미한 성능 향상을 기록하지 못했다.
• 세밀한 NER 작업에서 동결된 문법 인코더를 사용한 mSynC 모델은 87.36 ± 0.02 F1를 기록하여 종합 훈련 방식(86.89 ± 0.11)을 초월했고, 미세조정된 mSynC(87.44 ± 0.07)에 근접했다.
• 언어 탐색 작업에서 mSynC는 96.9 F1로 구문 태깅 성능을 확보하여 얕은 구문을 잘 인코딩하고 있음을 확인했지만, 9개 탐색 작업 중 7개에서 ELMo보다 열등한 성능 기록.
• 블랙박스 프로브 결과, mSynC가 ELMo보다 문법 지식의 전이 능력에서 유의미한 향상이 없음을 확인하여, ELMo가 이미 이러한 정보를 효과적으로 포괄하고 있음을 시사.
• 종합 훈련 방식은 단계적 훈련에 비해 성능이 열 劣했으며, 이는 더 긴 훈련 기간이 필요할 수 있음을 시사하지만, 계산 비용이 매우 높아(2개의 V100에서 1에포크당 36시간 소요) 현실적으로 불가능하다.
• 종합적으로 볼 때, 결과는 ELMo 스타일의 미리 훈련이 이미 하류 작업에서 명시적인 얕은 구문 인식이 불필요하게 만드는 표현 방식을 학습하고 있음을 시사한다.