[논문 리뷰] An MRC Framework for Semantic Role Labeling

Nan Wang, Jiwei Li외 6명|arXiv (Cornell University)|2021. 09. 14.

Topic Modeling참고 문헌 55인용 수 4

한 줄 요약

이 논문은 문맥 기반 독해(MRC) 프레임워크를 제안하여 의미역할 분할(SRL)을 위해 술어의 의미 해석과 청자 역할 표기 간의 통합을 도모한다. 이는 문맥 기반 독해 작업으로서의 다중선택형 MRC와 추출형 MRC를 각각 술어의 의미 해석과 청자 역할 표기로 모델링함으로써, 프레임 파일에서 제공하는 의미적 설명을 활용한다. 이 방법은 CoNLL2005, CoNLL2009, CoNLL2012 벤치마크에서 최신 기술 수준(SOTA) 또는 경쟁 가능한 성능을 달성하면서도 역할 의미 정보를 통합하고, 역할 예측 모듈을 통해 계산 효율성을 향상시킨다.

ABSTRACT

Semantic Role Labeling (SRL) aims at recognizing the predicate-argument structure of a sentence and can be decomposed into two subtasks: predicate disambiguation and argument labeling. Prior work deals with these two tasks independently, which ignores the semantic connection between the two tasks. In this paper, we propose to use the machine reading comprehension (MRC) framework to bridge this gap. We formalize predicate disambiguation as multiple-choice machine reading comprehension, where the descriptions of candidate senses of a given predicate are used as options to select the correct sense. The chosen predicate sense is then used to determine the semantic roles for that predicate, and these semantic roles are used to construct the query for another MRC model for argument labeling. In this way, we are able to leverage both the predicate semantics and the semantic role semantics for argument labeling. We also propose to select a subset of all the possible semantic roles for computational efficiency. Experiments show that the proposed framework achieves state-of-the-art or comparable results to previous work. Code is available at \url{https://github.com/ShannonAI/MRC-SRL}.

연구 동기 및 목표

• 기존 SRL 접근 방식에서 술어의 의미 해석과 청자 역할 표기 간의 의미 통합 부족 문제를 해결하기 위해.
• 특히 프레임 파일의 의미 정보—즉, 술어의 의미 감각과 청자 역할의 의미—를 통합된 프레임워크 내에서 활용하기 위해.
• 라벨 의미 정보를 통합함으로써 자원이 부족하거나 도메인 외부의 설정에서 모델의 강건성을 향상시키기 위해.
• 역할 예측 모듈을 통해 관련이 없는 의미적 역할을 걸러내어 청자 역할 표기 과정의 계산 오버헤드를 줄이기 위해.

제안 방법

• 후보 술어 의미 감각(그리고 그에 수반된 설명)을 답변 선택지로 간주하여, 술어의 의미 해석을 다중선택형 MRC로 공식화한다.
• 예측된 술어 의미 감각을 바탕으로 대상 술어와 관련된 의미적 역할를 결정한다.
• 청자 역할 표기 과정을 추출형 MRC로 변환하여, 의미적 역할 설명(예: '운동의 원인')으로 질문을 구성하고 청자 구간을 추출한다.
• 가장 가능성 있는 의미적 역할(예: 상위 λN개)의 부분집합을 선택하는 역할 예측 모듈을 도입하여 계산량을 감소시킨다.
• 모든 MRC 구성 요소에 대해 RoBERTa-Base를 기반 모델로 사용하고, CoNLL 벤치마크에서의 미세조정을 수행한다.
• 어간화된 술어와 학습된 역할 확률을 사용하여, 모든 가능한 <라벨, 문장> 쌍을 인코딩하는 것을 피한다.

실험 결과

연구 질문

• RQ1 술어의 의미 해석과 청자 역할 표기를 각각 MRC 작업으로 모델링하는 것이 두 하위 작업 간의 의미 일관성을 향상시키는가?
• RQ2 술어 의미 감각과 청자 역할의 명시적 의미 설명을 통합함으로써, 특히 자원이 부족하거나 도메인 외부 설정에서의 성능 향상이 이루어지는가?
• RQ3 역할 예측 모듈이 정확도를 손상시키지 않으면서 계산 비용을 얼마나 효과적으로 줄일 수 있는가?
• RQ4 학습 및 테스트 데이터의 도메인이 다를 경우, 역할 의미 정보가 청자 역할 표기 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 MRC 프레임워크는 CoNLL2005, CoNLL2009, CoNLL2012 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.
• 청자 역할 표기 과정에 역할 의미 정보를 통합함으로써 개발 세트에서 F1 점수가 0.6 포인트 향상(88.5 vs. 88.2)되고, 도메인 외부의 Brown 테스트 세트에서도 0.6 포인트 향상(83.8 vs. 83.2)된다.
• 역할 예측 재현율이 0.90에서 0.99로 상승함에 따라 청자 역할 표기 F1 점수가 87.3에서 88.6으로 상승하여 오류 전파가 감소함을 시사한다.
• 자원이 부족한 상황에서, 의미 정보를 통합한 MRC 모델은 의미 사전 정보가 없는 기본 BIO 태깅 모델보다 성능이 뛰어나며, 특히 데이터 비율이 낮을 경우 두드러진다.
• 역할 예측 모듈을 통해 CoNLL2005, CoNLL2009, CoNLL2012에서 각각 λ 값 5, 4.2, 5.5를 적용하여 계산 속도를 4배에서 5.1배로 향상시켰다.