[논문 리뷰] Improving Implicit Semantic Role Labeling by Predicting Semantic Frame Arguments

Quynh Ngoc Thi, Steven Bethard외 1명|arXiv (Cornell University)|2017. 04. 10.

Topic Modeling참고 문헌 13인용 수 9

한 줄 요약

이 논문은 명시적 SRL 시스템의 예측을 활용하여 음성적 의미 역할 레이블링(iSRL)을 위한 선택적 선호도를 추론함으로써, 주어진 텍스트에서 의미적 역할 순서의 확률을 학습하는 예측 가능한 순환 신경망 의미 프레임 모델(PRNSFM)을 제안한다. 이 방법은 수동으로 구축된 언어 자원에 대한 의존도를 크게 줄이며, NomBank iSRL 벤치마크에서 이전의 방법들보다 10% 높은 F1 점수를 기록하여 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Implicit semantic role labeling (iSRL) is the task of predicting the semantic roles of a predicate that do not appear as explicit arguments, but rather regard common sense knowledge or are mentioned earlier in the discourse. We introduce an approach to iSRL based on a predictive recurrent neural semantic frame model (PRNSFM) that uses a large unannotated corpus to learn the probability of a sequence of semantic arguments given a predicate. We leverage the sequence probabilities predicted by the PRNSFM to estimate selectional preferences for predicates and their arguments. On the NomBank iSRL test set, our approach improves state-of-the-art performance on implicit semantic role labeling with less reliance than prior work on manually constructed language resources.

연구 동기 및 목표

• 수동으로 레이블링된 iSRL 데이터의 부족을 해결하기 위해, 비레이블링 코퍼스에서 학습할 수 있는 방법을 개발하는 것.
• iSRL 시스템에서 다수의 수작업으로 구성된 언어 자원에 대한 의존도를 줄이는 것.
• 순환 신경망 의미 프레임 모델의 순서 확률 추정치를 활용하여 음성적 의미적 역할에 대한 선택적 선호도를 모델링하는 것.
• 훈련에 명시적 iSRL 레이블이 필요로 하지 않고도 최신 기술 수준의 성능을 향상시키는 것.

제안 방법

• MATE 명시적 SRL 시스템의 예측을 활용하여 대규모 비레이블링 코퍼스(Wikipedia, Reuters, Brown)에서 예측 가능한 순환 신경망 의미 프레임 모델(PRNSFM)을 훈련한다.
• PRNSFM을 사용하여 특정 동사에 대해 의미적 역할 순서의 확률을 추정함으로써 의미 프레임의 순차적 구조를 모델링한다.
• 단어와 의미적 역할에 대해 별도의 벡터 표현을 학습하여 다양한 동사에 대한 일반화 능력을 향상시키고 사전에 학습된 임베딩과의 통합을 가능하게 한다.
• PRNSFM의 순서 확률 추정치에서 위치 정보를 통합하여 음성적 역할이 논의 전반에 흩어져 있을 경우에도 선택적 선호도를 추출한다.
• 학습된 선택적 선호도를 활용하여 테스트 세트에서 음성적 의미적 역할을 예측하며, 하위 구성 요소로만 명시적 SRL 시스템을 사용한다.

실험 결과

연구 질문

• RQ1 비레이블링 텍스트에서 훈련된 신경 순서 모델이 iSRL 성능 향상에 기여할 수 있는 의미적 역할 순서의 의미 있는 확률를 학습할 수 있는가?
• RQ2 명시적 iSRL 레이블이 없는 상황에서 순서 확률 추정치로부터 음성적 역할에 대한 선택적 선호도를 얼마나 잘 추론할 수 있는가?
• RQ3 PRNSFM 기반 접근법은 F1 성능과 자원 효율성 측면에서 기존의 iSRL 시스템과 비교해 어떤가?
• RQ4 단어와 의미적 역할에 대해 별도의 표현을 학습하는 것이 iSRL에서 일반화 능력과 성능 향상에 기여하는가?

주요 결과

• PRNSFM 기반의 iSRL 시스템은 유일하게 명시적 SRL 시스템에 의존하는 다른 시스템보다 F1 점수를 10% 높게 기록하였으며, t-검정에서 p-값이 0.058로 통계적으로 유의미하다.
• 단어와 의미적 역할에 대해 별도의 임베딩을 사용하는 모델 2는 그들을 하나의 쌍으로 통합한 모델 1보다 더 높은 성능를 보였으며, 이는 다양한 역할 할당에 대한 일반화 능력 향상 덕분이었다.
• 학습 데이터에서 자주 등장하는 동사들인 'sale', 'plan', 'loss'에 대해 높은 F1 점수(>50%)를 기록했지만, 'bid'나 'loan'과 같은 드문 또는 비정상적인 동사들에 대해서는 성능이 저하되었다.
• PRNSFM은 표준 스위프그램 언어 모델보다 뛰어난 성능을 보였으며, 이는 의미 프레임을 순서 기반 데이터로 모델링하는 것이 표준 n-그램 또는 단어 수준의 모델링보다 더 효과적이라는 것을 보여준다.
• 수동으로 레이블링된 iSRL 데이터가 전혀 필요로 하지 않고도, NomBank iSRL 테스트 세트에서 최신 기술 수준의 성능을 달성하였다. 이는 명시적 SRL 시스템과 비레이블링 텍스트에만 의존한다.