[논문 리뷰] IBERT: Idiom Cloze-style reading comprehension with Attention

Ruiyang Qin, Haozheng Luo외 2명|arXiv (Cornell University)|2021. 11. 05.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 IBERT를 제안하며, 이는 XLNet을 사용해 인코딩하고 RoBERTa를 사용해 디코딩함으로써 국소적이고 전반적인 맥락을 공동으로 모델링하는 BERT 기반의 시퀀스 투 시퀀스 모델이다. 이 모델은 EPIE Static Corpus에서 이전 최고 성능 모델을 능가하며, 주로 비합성적 의미를 지닌 관용어의 이해를 향상시키기 위해 주목력 강화된 맥락 모델링을 통해 개선된 성능을 보였다.

ABSTRACT

Idioms are special fixed phrases usually derived from stories. They are commonly used in casual conversations and literary writings. Their meanings are usually highly non-compositional. The idiom cloze task is a challenge problem in Natural Language Processing (NLP) research problem. Previous approaches to this task are built on sequence-to-sequence (Seq2Seq) models and achieved reasonably well performance on existing datasets. However, they fall short in understanding the highly non-compositional meaning of idiomatic expressions. They also do not consider both the local and global context at the same time. In this paper, we proposed a BERT-based embedding Seq2Seq model that encodes idiomatic expressions and considers them in both global and local context. Our model uses XLNET as the encoder and RoBERTa for choosing the most probable idiom for a given context. Experiments on the EPIE Static Corpus dataset show that our model performs better than existing state-of-the-arts.

연구 동기 및 목표

• 관용어가 매우 비합성적 의미를 지닌다는 점을 감안할 때, 관용어 괄호 채우기 독해 과제의 과제를 해결하기 위해.
• 관용어 예측 과제에서 국소적이고 전반적인 맥락을 모두 향상시키기 위해.
• 이전의 Seq2Seq 모델들이 관용어의 비합성적 성격을 포착하지 못한다는 한계를 극복하기 위해.
• 더 나은 관용어 이해를 위해 맥락 인코딩과 디코딩을 통합한 BERT 기반 아키텍처를 개발하기 위해.
• EPIE Static Corpus 데이터셋에서 관용어 괄호 채우기 과제에 대해 최고 성능을 달성하기 위해.

제안 방법

• 모델은 입력 텍스트의 장거리 의존성과 맥락 표현을 포착하기 위해 XLNet을 인코더로 사용한다.
• 인코딩된 맥락을 바탕으로 가장 가능성이 높은 관용어를 예측하기 위해 RoBERTa를 디코더로 활용한다.
• 다중 헤드 자기주목력 메커니즘을 적용하여 국소적이고 전반적인 맥락의 모델링을 향상시킨다.
• 관용어 괄호 채우기 독해 과제를 위해 EPIE Static Corpus에서 엔드 투 엔드로 미세조정한다.
• 맥락과 관용어 후보 간의 정렬을 향상시키기 위해 인코더와 디코더 양쪽에 주목력 메커니즘을 적용한다.
• 어휘적 및 문법적 패턴을 포착하기 위해 BERT 기반 모델의 사전학습된 언어 표현을 통합한다.

실험 결과

연구 질문

• RQ1 국소적이고 전반적인 맥락을 함께 모델링하는 BERT 기반 모델이 관용어 괄호 채우기 성능을 향상시킬 수 있는가?
• RQ2 주목력 강화된 인코딩과 디코딩은 비합성적 관용어 표현 예측에 어떤 영향을 미치는가?
• RQ3 Seq2Seq 프레임워크에서 XLNet과 RoBERTa를 조합하면 기존의 Seq2Seq 모델보다 관용어 괄호 채우기 과제에서 더 나은 성능을 내는가?
• RQ4 사전학습된 모델에서 유도된 맥락 표현은 비합성적 의미를 지닌 관용어 이해에 얼마나 기여하는가?
• RQ5 모델은 새로운 관용어에 일반화되면서도 괄호 채우기 독해 과제에서 높은 정확도를 유지할 수 있는가?

주요 결과

• IBERT는 기존의 최고 성능 모델들보다 EPIE Static Corpus에서 뛰어난 성능을 달성한다.
• XLNet을 인코더로, RoBERTa를 디코더로 통합함으로써 관용어 예측 정확도가 크게 향상된다.
• 주목력 메커니즘이 관용어 괄호 채우기 과제에서 국소적이고 전반적인 맥락의 종속성을 효과적으로 포착한다.
• 맥락 표현 학습을 통해 비합성적 관용어 의미에 대한 이해가 향상됨을 보여준다.
• 국소적이고 전반적인 맥락을 함께 모델링함으로써 관용어 괄호 채우기 독해 과제에서 성능 향상이 이루어짐을 확인한다.
• 맥락이나 관용어 의미를 충분히 모델링하지 못하는 이전의 Seq2Seq 접근 방식보다 모델이 뛰어난 성능을 보인다.