[논문 리뷰] GRASP: Guiding model with RelAtional Semantics using Prompt for Dialogue Relation Extraction

Junyoung Son, Jinsung Kim외 2명|arXiv (Cornell University)|2022. 08. 26.

Topic Modeling인용 수 6

한 줄 요약

GRASP는 다자 대화에서 정보 밀도가 낮은 상황에서 관계 추출 성능을 햖थ기 위해 프롬프트 기반 미세조정 방법을 제안한다. 이는 관계 인식에 유용한 트리거와 역할을 하는 인자들을 산재하게 분산된 정보로 인식하도록 모델을 이끌기 위해 인자 인식 프롬프트 마커와 관계적 단서 탐지 작업을 도입한다. 추가적인 레이어 없이 DialogRE 벤치마크에서 최고 성능을 기록하며, 기존 방법보다 우수한 성능을 내는 것은, 트리거와 역할 인식 등 산재한 관계 단서에 주의를 기울이도록 효과적으로 모델을 이끌 수 있기 때문이다.

ABSTRACT

The dialogue-based relation extraction (DialogRE) task aims to predict the relations between argument pairs that appear in dialogue. Most previous studies utilize fine-tuning pre-trained language models (PLMs) only with extensive features to supplement the low information density of the dialogue by multiple speakers. To effectively exploit inherent knowledge of PLMs without extra layers and consider scattered semantic cues on the relation between the arguments, we propose a Guiding model with RelAtional Semantics using Prompt (GRASP). We adopt a prompt-based fine-tuning approach and capture relational semantic clues of a given dialogue with 1) an argument-aware prompt marker strategy and 2) the relational clue detection task. In the experiments, GRASP achieves state-of-the-art performance in terms of both F1 and F1c scores on a DialogRE dataset even though our method only leverages PLMs without adding any extra layers.

연구 동기 및 목표

• 다양한 발화자 간 대화에서 관계적 사실이 터치 간에 산재해 있는 저정보 밀도 문제를 해결하기 위해.
• 트리거와 역할 인식 등 관계적 단서에 주의를 기울이도록 사전 학습된 언어 모델(PLM)을 이끌어 대화 내 관계 추출 성능을 향상시키기 위해.
• 추가 레이어나 작업 전용 헤드 없이도 사전 학습된 언어 모델(PLM)만을 사용하여 DialogRE 작업에서 최고 성능을 달성하기 위해.
• 감정 인식 작업(MELD 및 EmoryNLP)에서의 평가를 통해 제안된 방법의 일반화 능력을 입증하기 위해.

제안 방법

• 대화 입력에서 발화자 및 비발화자 인자를 모두 강조하기 위해 특수 토큰을 사용하는 인자 인식 프롬프트 마커(APM) 전략을 도입한다.
• 모델이 각 토큰이 주어진 주어, 목적어 또는 트리거인지 예측하도록 하는 관계적 단서 탐지(RCD) 작업을 설계하여 핵심 관계 요소에 주의를 기울이도록 이끈다.
• 관계적 의미 이해를 향상시키기 위해 RCD 작업과 마스크 언어 모델링(MLM)을 결합한 공동 학습 목표를 설정한다.
• 관계 분류 작업을 클로즈 스타일 예측 문제로 변환하기 위해 [MASK] 토큰을 포함한 프롬프트 템플릿을 사용하여 최종 작업을 사전 학습 목표와 일치시킨다.
• 추가 레이어 없이 사전 학습된 언어 모델(RoBERTa 등)만을 사용하며, 프롬프트 엔지니어링과 작업 전용 감독 신호에 의존해 성능을 이끌어낸다.
• 마커 유형과 프롬프트 설계의 최적화를 위해 추론 실험을 통해 마커 유형과 위치에 대한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 추가 네트워크 레이어 없이도 인자 인식 프롬프트 마커를 사용하는 프롬프트 기반 접근 방식이 저정보 밀도 대화에서 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 관계적 단서 탐지(RCD) 작업이 트리거와 역할 인식 등 핵심 관계 단서에 주의를 기울이는 데 얼마나 효과적인가?
• RQ3 GRASP 프레임워크는 관계 추출을 넘어서 감정 인식과 같은 다른 대화 이해 작업으로 일반화되는가?
• RQ4 DialogRE 벤치마크에서 GRASP는 풀샷 및 희소샷 설정 모두에서 강력한 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 다양한 발화자 대화에서 인자 위치를 명시적으로 강조함으로써 APM 전략이 모델 성능을 얼마나 향상시키는가?

주요 결과

• GRASP는 DialogRE 데이터셋에서 최고 성능을 기록했으며, F1 점수는 65.6, F1_c 점수는 40.0을 기록하여 TUCORE-GCN과 같은 이전 최고 성능 모델을 능가했다.
• 풀샷 설정에서 GRASP는 MELD 및 EmoryNLP 데이터셋에서 RoBERTa, COSMIC, TUCORE-GCN를 모두 앞서며 강력한 일반화 능력을 입증했다.
• 모델은 대칭 관계와 'got married'와 같은 핵심 트리거를 성공적으로 파악하여 per:spouse와 per:siblings와 같은 관계를 구분할 수 있었으며, 이는 표준 미세조정 모델이 실패하는 영역이다.
• 마커 유형과 위치에 대한 추론 실험을 통해 APM 전략이 인자 위치를 명시적으로 표시함으로써 성능 향상에 기여함을 입증했다.
• RCD 작업이 관계적 단서에 주의를 기울이는 데 효과적이며, 대화에서 흩어져 있거나 모호한 단서로 인한 관계 오분류를 줄이는 데 기여했다.
• 희소샷 설정에서도 GRASP는 뛰어난 성능을 기록하여, 사전 학습된 언어 모델의 지식을 효과적으로 활용하는 프롬프트 기반 적응 전략의 강력함을 보여주었다.