[논문 리뷰] BERT Knows Punta Cana is not just Beautiful, it's Gorgeous : Ranking Scalar Adjectives with Contextualised Representations

Aina Garí Soler, Marianna Apidianaki|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 46인용 수 11

한 줄 요약

이 논문은 외부 어휘집이나 패턴 기반 규칙에 의존하지 않고, 문맥에 따라 변화하는 표현에서 직접 강도 벡터를 학습함으로써 스칼라 형용사의 강도를 순위 매기는 BERT 기반 방법을 제안한다. 이 방법은 성별 편향 탐지에서 영감을 얻은 벡터 산술을 사용하여 순수한 강도 방향을 유도하며, 정적 임베딩과 이전 모델보다 내재적 벤치마크와 간접적 질문-답변 작업에서 우수한 성능을 기록한다.

ABSTRACT

Adjectives like pretty, beautiful and gorgeous describe positive properties of the nouns they modify but with different intensity. These differences are important for natural language understanding and reasoning. We propose a novel BERT-based approach to intensity detection for scalar adjectives. We model intensity by vectors directly derived from contextualised representations and show they can successfully rank scalar adjectives. We evaluate our models both intrinsically, on gold standard datasets, and on an Indirect Question Answering task. Our results demonstrate that BERT encodes rich knowledge about the semantics of scalar adjectives, and is able to provide better quality intensity rankings than static embeddings and previous models with access to dedicated resources.

연구 동기 및 목표

• BERT가 문맥에 따라 변화하는 표현에서 형용사 강도에 대한 의미 지식을 어떻게 인코딩하는지 조사하기 위해.
• 단일 형용사 쌍과 같은 최소한의 감독만을 사용하여 스칼라 형용사를 순위 매기는 자원 경량화된 방법을 개발하기 위해.
• BERT 표현이 다양한 의미 척도(예: 아름다움, 온도, 크기)에서 강도 관계를 어떻게 포착하는지 평가하기 위해.
• BERT 기반 강도 벡터가 정적 단어 임베딩과 이전의 패턴 기반 또는 어휘 기반 모델과 비교하여 성능이 어떻게 되는지 비교하기 위해.
• BERT의 다양한 레이어가 강도 표현에 기여하는 정도를 분석하고, 형용사에 대한 의미 지식이 가장 효과적으로 인코딩되는 위치를 파악하기 위해.

제안 방법

• 이 방법은 형용사가 속한 척도와 의미적으로 일치하는 문장(예: 'Punta Cana is beautiful'는 아름다움 척도에 해당)에서 BERT의 문맥에 맞는 표현을 추출한다.
• 각 척도에서 가장 극단적인 형용사(예: 'mild'와 'gorgeous')의 표현 간 벡터 차이를 계산하여 순수한 강도 방향 벡터인 −−−→dVec를 유도한다.
• 새로운 형용사의 강도는 이 학습된 강도 방향 벡터에 대해 BERT 표현을 투영함으로써 추정되며, 이는 외부 자원 없이 상대적 순위 매기기가 가능하게 한다.
• 이 방법은 성별 편향 탐지 기법에서 영감을 얻었으며, 여기서는 단어 쌍(예: she vs. he)으로부터 임베딩 공간의 방향을 학습하고, 이를 강도 관계에 적용한다.
• 이 방법은 두 가지 변형으로 평가된다: DIFFVEC-1 (+)는 양성 쌍(예: 'good'과 'awesome')을 사용하고, DIFFVEC-1 (−)는 부정 쌍(예: 'bad'와 'horrible')을 사용하며, 후자가 더 뛰어난 성능을 보였다.
• 성능 평가는 금본 기준 데이터셋(DEMELO, CROWD, WILKINSON)에서의 내재적 평가와 간접적 질문-답변 작업에서의 외재적 평가를 통해 이루어진다.

실험 결과

연구 질문

• RQ1 외부 자원이나 패턴 규칙 없이 BERT의 문맥에 맞는 표현이 스칼라 형용사 간의 신뢰할 수 있는 강도 관계를 인코딩할 수 있는가?
• RQ2 단일 형용사 쌍(예: 'good'과 'awesome')으로 유도된 강도 벡터가 동일 척도의 다른 형용사를 순위 매기는데 잘 일반화되는가?
• RQ3 내재적 및 외재적 작업에서 제안된 방법의 성능가 정적 단어 임베딩과 이전의 패턴 기반 또는 어휘 기반 모델과 비교하여 어떻게 되는가?
• RQ4 BERT의 어느 레이어가 스칼라 형용사 강도 순위 매기기에 가장 관련 있는 의미 지식을 담고 있는가?
• RQ5 왜 양성 쌍보다 부정 쌍을 사용할 때 성능이 떨어지는가? 단어 빈도와 극성은 이 차이에 어떻게 기여하는가?

주요 결과

• 단일 양성 형용사 쌍을 사용해 강도 벡터를 유도하는 DIFFVEC-1 (+) 방법이 모든 데이터셋에서 최고의 성능을 기록하였으며, 정적 단어 임베딩과 이전 모델을 모두 능가했다.
• 간접적 질문-답변 작업에서 최고 성능을 기록하여, 이 방법이 후행 NLP 응용 분야에서 실용적인 유용성을 보였다.
• BERT 표현은 풍부한 강도 지식을 포함하고 있으며, 성능은 상위 레이어(특히 마지막 네 레이어)에서 최고로 나타나, 고차원 레이어가 더 미묘한 의미적 차이를 포착함을 시사한다.
• 더 강한 형용사 표현에서 더 약한 형용사 표현을 빼서 유도한 벡터 −−−→dVec는 의미와 강도를 함께 조합한 원시 BERTSIM 벡터보다 더 깔끔하고 일반화된 강도 표현을 제공한다.
• 양성 쌍과 부정 쌍을 사용할 때의 성능 차이는 어휘 빈도에 의해 부분적으로 설명된다: 더 자주 쓰이는 단어들인 'good'과 'awesome'는 덜 자주 쓰이는 반대어인 'bad'와 'horrible'보다 더 고품질의 표현을 가진다. 이는 DIFFVEC-1 (+)의 뛰어난 성능을 설명할 수 있다.
• 문장 선택에 대한 민감도가 낮아, 문장을 정교하게 선택했을 때와 무작위로 샘플링했을 때 성능이 모두 안정적으로 유지되어, BERT의 사전 학습된 지식이 다양한 맥락에서 잘 일반화됨을 시사한다.