[논문 리뷰] Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation

Ishan Jindal, Ranit Aharonov외 3명|arXiv (Cornell University)|2020. 11. 29.

Natural Language Processing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망 활성화값의 메모리에서 K개의 가장 가까운 이웃을 기반으로 하는 매개변수화된 이웃 메모리 적응(PNMA)을 제안한다. 이 방법은 K개의 가장 가까운 이웃의 매개변수화된 표현을 활용하여 의미역할명시(SRL) 성능을 향상시킨다. 이러한 적응형 이웃 벡터를 사용하여 분류 레이어를 재학습시킴으로써 PNMA는 다양한 설정에서 SRL 성능을 향상시키며, CoNLL2005에서 80.2%의 최고 성능 F1 점수와 CoNLL2009에서 84.97%의 최고 성능 F1 점수를 기록한다. 특히 BERT와 결합했을 때 낮은 빈도의 동사어 및 도메인 외 예측에 유의미한 이점을 제공한다.

ABSTRACT

Deep neural models achieve some of the best results for semantic role labeling. Inspired by instance-based learning that utilizes nearest neighbors to handle low-frequency context-specific training samples, we investigate the use of memory adaptation techniques in deep neural models. We propose a parameterized neighborhood memory adaptive (PNMA) method that uses a parameterized representation of the nearest neighbors of tokens in a memory of activations and makes predictions based on the most similar samples in the training data. We empirically show that PNMA consistently improves the SRL performance of the base model irrespective of types of word embeddings. Coupled with contextualized word embeddings derived from BERT, PNMA improves over existing models for both span and dependency semantic parsing datasets, especially on out-of-domain text, reaching F1 scores of 80.2, and 84.97 on CoNLL2005, and CoNLL2009 datasets, respectively.

연구 동기 및 목표

• 깊이 있는 신경망 활성화값에서 가장 가까운 이웃 정보를 활용하여 의미역할명시(SRL) 성능을 향상시키는 것.
• SRL에서 낮은 빈도의 동사어어 및 도메인 외 일반화 문제를 해결하는 것.
• 라벨이 부여된 이웃이 필요 없이 기본 모델을 향상시키는 메모리 기반 적응 방법을 개발하는 것.
• 정적 및 컨텍스트 기반 임베딩(예: BERT 포함)을 포함한 다양한 단어 임베딩 유형에서 PNMA의 효과를 입증하는 것.

제안 방법

• 학습 데이터셋의 토큰 표현을 메모리로 구축하고, 유클리드 거리 기반으로 각 토큰에 대한 K개의 가장 가까운 이웃을 저장한다.
• 학습 가능한 가중치를 사용하여 K개의 가장 가까운 이웃 표현을 조합하여 매개변수화된 이웃 표현 $\mathbf{n}_{K}(w) \in \mathbb{R}^d$ 를 생성한다.
• 기본 모델의 단어 및 동사어 임베딩 및 LSTM 레이어를 고정하고, 이웃 표현 $\mathbf{n}_{K}(w)$ 를 사용하여 오직 분류 레이어만 재학습시킨다.
• 이웃 표현을 사용하여 분류 레이어를 재학습시켜 기본 모델이 잘못 예측한 경우를 수정할 수 있도록 한다.
• 정적 및 컨텍스트 기반 단어 임베딩을 사용하는 모델과 함께 PNMA를 적용하여 스파닝 및 의존관계 기반 SRL 작업 모두에 통합한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망 활성화값에서 가장 가까운 이웃 정보가 기본 모델을 초월하여 SRL 성능 향상에 기여하는가?
• RQ2 PNMA는 낮은 빈도의 동사어어 및 도메인 외 예측에서 오류를 효과적으로 줄이는가?
• RQ3 컨텍스트 기반 임베딩(예: BERT)과 함께 PNMA는 어떻게 성능을 발휘하는가?
• RQ4 기본 모델과 PNMA가 예측을 다를 경우 PNMA는 그 예측을 향상시키는가?
• RQ5 이웃 크기와 표현 품질은 PNMA의 성능에 어떤 영향을 미치는가?

주요 결과

• PNMA는 CoNLL2005 도메인 외 테스트 세트에서 기존 방법보다 2.0점 향상된 80.2%의 최고 성능 F1 점수를 기록하여 새로운 최고 성능을 달성했다.
• CoNLL2009 데이터셋에서 BERT와 함께 PNMA를 적용했을 때 F1 점수는 84.97%에 달하며, 기존 모델 대비 5.0점 향상된 성과를 보였다.
• PNMA는 모든 어휘 역할에서 기본 모델의 성능을 일관되게 향상시키며, 특히 낮은 빈도의 동사어어 및 희귀 문법 패턴에서 두드러진 성능 향상을 보였다.
• 기본 모델과 PNMA가 예측을 다를 경우 PNMA가 더 자주 올바른 예측을 내는 것으로 나타났으며, 이는 기본 모델의 오류를 수정하는 데 효과적임을 시사한다.
• 오류 분석 결과, 중간 크기의 이웃 집합(10~40개 이웃)과 낮은 동사어어 빈도에서 PNMA가 가장 큰 도움을 주지만, 이웃의 기본 모델 예측이 잘못된 경우 성능 저하를 보였다.