[논문 리뷰] Unsupervised Transfer of Semantic Role Models from Verbal to Nominal Domain

Yanpeng Zhao, Ivan Titov|arXiv (Cornell University)|2020. 05. 01.

Natural Language Processing Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 레이블이 부여된 명사적 데이터가 필요 없이 어휘적 구성에서의 의미 역할 레이블링을 동사적 구성으로부터 전이하는 변분 오토인코더(VAE) 기반 방법을 제안한다. 어휘적 및 명사적 서술어 간 공유되는 선택성 선호도를 활용하여, 공유된 디코더 파라미터를 가진 공동 인코더-디코더 프레임워크를 사용해 명사적 구성에서 역할을 예측한다. CoNLL-2009에서 최신 기술 수준의 성능을 달성하며, 감독 및 비감독 기반선 대비 최대 4.27% F1 점수 향상률을 기록한다.

ABSTRACT

Semantic role labeling (SRL) is an NLP task involving the assignment of predicate arguments to types, called semantic roles. Though research on SRL has primarily focused on verbal predicates and many resources available for SRL provide annotations only for verbs, semantic relations are often triggered by other linguistic constructions, e.g., nominalizations. In this work, we investigate a transfer scenario where we assume role-annotated data for the source verbal domain but only unlabeled data for the target nominal domain. Our key assumption, enabling the transfer between the two domains, is that selectional preferences of a role (i.e., preferences or constraints on the admissible arguments) do not strongly depend on whether the relation is triggered by a verb or a noun. For example, the same set of arguments can fill the Acquirer role for the verbal predicate `acquire' and its nominal form `acquisition'. We approach the transfer task from the variational autoencoding perspective. The labeler serves as an encoder (predicting role labels given a sentence), whereas selectional preferences are captured in the decoder component (generating arguments for the predicting roles). Nominal roles are not labeled in the training data, and the learning objective instead pushes the labeler to assign roles predictive of the arguments. Sharing the decoder parameters across the domains encourages consistency between labels predicted for both domains and facilitates the transfer. The method substantially outperforms baselines, such as unsupervised and `direct transfer' methods, on the English CoNLL-2009 dataset.

연구 동기 및 목표

• 의미 역할 데이터가 부족한 명사적 서술어 문제를 해결하기 위해, 이는 이벤트 추출 및 요약과 같은 자연어 처리 응용 분야에서 흔하다.
• 레이블이 부여된 어휘적 영역에서 학습된 의미 역할 모델을 레이블이 없는 명사적 영역으로 전이함으로써, 레이블이 부여된 명사적 데이터의 부족을 보완한다.
• 의미 역할의 선택성 선호도가 어휘적 형태와 명사적 형태 간 일관되게 유지된다는 가설을 활용한다 (예: 'acquire'와 'acquisition'의 경우).
• 공동으로 역할 예측과 청자 생성을 모델링하는 반감독형 VAE 프레임워크를 개발하며, 도메인 간 공유된 디코더 파라미터를 통해 일관성을 강제한다.
• CoNLL-2009 데이터셋을 사용하여 기존의 비감독 및 직접 전이 기반선 대비 명사적 SRL에서 성능을 뛰어나게 한다.

제안 방법

• 입력 문장에서 의미 역할을 예측하는 라벨러를 인코더로 사용하는 변분 오토인코더(VAE) 프레임워크를 사용한다.
• 예측된 역할에 기반해 청자를 생성하는 공유된 디코더 구성 요소를 활용하여, 도메인 간 선택성 선호도를 포착한다.
• 모델을 훈련하기 위해 증거 하한 경계(ELBO) 목적함수를 사용하며, 라벨러는 명사적 영역에서 관측된 청자를 예측할 수 있는 역할을 예측하도록 최적화된다.
• 특히 레이블이 부여된 어휘적 데이터가 제한적일 경우 일반화 성능을 향상시키기 위해 합성 어휘적 예시를 통한 데이터 증강 기법을 도입한다.
• 훈련 안정성을 향상시키기 위해 재구성 기법을 적용하고, 확률적 경사 하강법을 사용해 VAE 목적함수를 최적화한다.
• 어휘적 영역과 명사적 영역 간 디코더 파라미터를 공유하여 선택성 선호도의 일관성을 강제하고 효과적인 도메인 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 명사적 데이터가 전혀 없이도 어휘적 서술어에서 학습된 의미 역할 레이블링 모델을 명사적 서술어로 효과적으로 전이할 수 있는가?
• RQ2 어휘적 구성과 명사적 구성 간 의미 역할의 선택성 선호도가 어느 정도 일관성을 유지하는가?
• RQ3 공동으로 역할과 청자를 모델링하는 공유된 VAE 아키텍처가 기존 기반선 대비 비감독적 명사적 SRL 성능을 향상시키는가?
• RQ4 잠재 코드, 공동 청자 모델링, 데이터 증강 등의 구성 요소가 모델 성능과 훈련 안정성에 미치는 영향은 어떠한가?
• RQ5 레이블이 부여된 어휘적 데이터가 제한적으로만 존재하는 저자원 환경에서도 모델이 일반화 가능한가?

주요 결과

• 제안된 VAE 기반 모델은 CoNLL-2009 명사적 개발 세트에서 74.80% F1 점수를 기록하며, 가장 강력한 기반선(Most-frequent) 대비 4.27% F1 점수 향상을 달성했다.
• 제거 실험 결과 잠재 코드, 공동 청자 모델링, 데이터 증강 모두 최적 성능 달성에 필수적임을 확인했으며, 전체 모델이 가장 안정적인 훈련을 보였다.
• 레이블이 부여된 어휘적 예제가 많아질수록 모델 정확도가 지속적으로 향상되며, 이는 확장성과 데이터 효율성을 시사한다.
• 비감독 기반선인 SyntFun과 Arg2vec보다 모델이 뚜렷하게 뛰어난 성능을 보였으며, 비감독 설정에서 조차 감독 기반선인 Factorization 모델을 초월했다.
• 직접 전이 방법(어휘적 모델을 그대로 명사적 데이터에 적용)은 제안된 방법보다 성능이 열 劣하므로, 도메인 특화 적응의 중요성을 입증한다.
• 결과는 의미 역할의 선택성 선호도가 어휘적 형태와 명사적 형태 간 대부분 동일하게 유지된다는 핵심 가정이 타당하며, 효과적인 전이를 가능하게 한다는 것을 검증한다.