[논문 리뷰] Positional Attention-based Frame Identification with BERT: A Deep Learning Approach to Target Disambiguation and Semantic Frame Selection

Sang-Sang Tan, Jin‐Cheon Na|arXiv (Cornell University)|2019. 10. 31.

Topic Modeling참고 문헌 49인용 수 4

한 줄 요약

PAFIBERT는 프레임-의미 분석에서 타겟에 특화된 맥락에 주의를 기울이는 위치적 주의 메커니즘을 사용하는 BERT 기반 딥 러닝 모델로, 도메인 내 및 도메인 외 벤치마크에서 최고 성능을 기록하며, 프레임 필터링 없이도 모호한 타겟과 알려지지 않은 어휘 단위를 우수하게 처리한다.

ABSTRACT

Semantic parsing is the task of transforming sentences from natural language into formal representations of predicate-argument structures. Under this research area, frame-semantic parsing has attracted much interest. This parsing approach leverages the lexical information defined in FrameNet to associate marked predicates or targets with semantic frames, thereby assigning semantic roles to sentence components based on pre-specified frame elements in FrameNet. In this paper, a deep neural network architecture known as Positional Attention-based Frame Identification with BERT (PAFIBERT) is presented as a solution to the frame identification subtask in frame-semantic parsing. Although the importance of this subtask is well-established, prior research has yet to find a robust solution that works satisfactorily for both in-domain and out-of-domain data. This study thus set out to improve frame identification in light of recent advancements of language modeling and transfer learning in natural language processing. The proposed method is partially empowered by BERT, a pre-trained language model that excels at capturing contextual information in texts. By combining the language representation power of BERT with a position-based attention mechanism, PAFIBERT is able to attend to target-specific contexts in sentences for disambiguating targets and associating them with the most suitable semantic frames. Under various experimental settings, PAFIBERT outperformed existing solutions by a significant margin, achieving new state-of-the-art results for both in-domain and out-of-domain benchmark test sets.

연구 동기 및 목표

• 특히 모호한 타겟과 도메인 외 데이터에서 강건한 프레임 식별에 도전한다.
• BERT와 같은 사전 훈련된 언어 모델을 활용해 타겟의 의미 해석을 위한 맥락 표현을 향상시킨다.
• 각 타겟 인스턴스의 고유한 위치적 맥락에 주의를 기울여 문장 내 동일한 타겟의 여러 인스턴스를 효과적으로 구분하는 방법을 개발한다.
• 엄격한 프레임 필터링에 의존도를 줄임으로써 알려지지 않은 타겟과 비연속적인 다단어 어휘 단위에 대한 일반화 능력을 향상시킨다.
• 후보 프레임 제약 조건과 맥락의 유연성 사이의 트레이드오프를 균형 잡아 모델의 강건성과 정확도를 향상시킨다.

제안 방법

• 입력 문장을 위한 깊은 맥락 표현을 생성하기 위해 BERT를 맥락 인코더로 사용한다.
• 문장 내 각 타겟 인스턴스의 위치에 따라 주변 맥락에 선택적으로 주의를 기울일 수 있는 위치 기반 주의 메커니즘을 도입한다.
• BERT 임bedded 시퀀스에 다중 헤드 주의 메커니즘을 적용하여 각 타겟에 대해 관련 맥락에 집중함으로써 동음이의 타겟의 의미 해석을 향상시킨다.
• 프레임 필터링이 있는 버전(프레임넷의 후보 프레임 사용)과 없는 버전을 두 가지로 구현하여 강건성과 일반화 능력 사이의 트레이드오프를 평가한다.
• 각 타겟에 가장 적합한 의미 프레임을 예측하기 위해 분류 헤드를 사용해 BERT 인코더를 피니테이닝한다.
• 훈련 중에 교차 엔트로피 손실을 사용해 각 타겟 인스턴스의 프레임 예측을 최적화한다.

실험 결과

연구 질문

• RQ1 위치적 주의 기반 BERT 모델이 도메인 내 및 도메인 외 테스트 세트에서 기존 방법보다 프레임 식별 정확도를 향상시킬 수 있는가?
• RQ2 프레임 필터링은 알려지지 않은 타겟과 비연속적인 다단어 어휘 단위에 대한 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 프레임 제약 조건에 의존하지 않고도 매우 혼동하기 쉬운 프레임들 사이의 미세한 의미 차이를 어느 정도 효과적으로 구분할 수 있는가?
• RQ4 위치 기반 주의 메커니즘이 한 문장 내 동일한 타겟이 여러 번 나타날 경우 효과적으로 의미를 해석할 수 있는가?
• RQ5 프레임에 의존하지 않는 모델 버전이 도메인 특화 또는 희귀 어휘 사용을 다룰 때 프레임 필터링이 적용된 대비 모델보다 성능이 뛰어나게 되는가?

주요 결과

• PAFIBERT는 프레임 식별 분야에서 도메인 내 및 도메인 외 벤치마크 데이터셋에서 새로운 최고 성능을 기록했다.
• 프레임 필터링이 없는 버전이 비연속적인 다단어 어휘 단위(예: 'give up.v'에서 'it'이 'give'와 'up' 사이에 삽입된 경우)를 다루는 데서 필터링이 적용된 버전을 능가했다.
• 미용 도메인 맥락에서 'highlighting'을 [Body_decoration]로 정확히 식별한 것은 도메인 인식 프레임 선택 능력을 보여주었다.
• 위치 기반 주의 메커니즘을 통해 맥락 특징에 주의를 기울임으로써 모호한 타겟에 대한 성능 향상이 이루어졌다.
• 장점이 있음에도 불구하고, 필터링이 없는 버전은 종종 매우 모호한 타겟을 잘못 분류하는 경우가 있었으며(예: 'worth'가 [Earnings_and_losses]로 예측되어 [Deserving]로의 예측이 잘못됨), 맥락의 변동성에 민감함을 보였다.
• 가장 흔한 프레임 혼동 쌍들이 정확도 손실의 주요 원인임이 밝혀져, 향후 연구에서 이러한 미세한 차이를 해결하는 데 초점을 맞춰야 할 것으로 제안된다.