[논문 리뷰] Cracking the Contextual Commonsense Code: Understanding Commonsense Reasoning Aptitude of Deep Contextual Representations

Jeff Da, Jungo Kasai|arXiv (Cornell University)|2019. 10. 02.

Topic Modeling참고 문헌 29인용 수 13

한 줄 요약

이 논문은 CSLB 의미 규범 데이터셋에서 속성 분류를 통해 BERT가 공통 지식을 어떻게 인코딩하는지 조사하며, 특히 시각적 및 감각적 속성에서의 부족함을 드러낸다. 시각적 및 감각적 속성에서의 부족함을 보완하기 위해 암묵적 피니팅(특정 속성 부족 기반 데이터 선택)과 지식 그래프 임베딩의 명시적 통합이라는 두 가지 방법을 제안한다. 이는 최소한의 데이터로 2%의 정확도 향상을 이끌어내며, MCScript 2.0에서 최대 85.5%의 정확도를 달성한다.

ABSTRACT

Pretrained deep contextual representations have advanced the state-of-the-art on various commonsense NLP tasks, but we lack a concrete understanding of the capability of these models. Thus, we investigate and challenge several aspects of BERT's commonsense representation abilities. First, we probe BERT's ability to classify various object attributes, demonstrating that BERT shows a strong ability in encoding various commonsense features in its embedding space, but is still deficient in many areas. Next, we show that, by augmenting BERT's pretraining data with additional data related to the deficient attributes, we are able to improve performance on a downstream commonsense reasoning task while using a minimal amount of data. Finally, we develop a method of fine-tuning knowledge graphs embeddings alongside BERT and show the continued importance of explicit knowledge graphs.

연구 동기 및 목표

• BERT가 GloVe와 같은 비맥락 기반 임베딩과 비교하여 기반 공통 지식 속성(예: 시각적, 감각적, 기능적 속성 등)을 얼마나 잘 인코딩하는지 평가하는 것.
• BERT의 표현에서 여전히 부족한 특정 공통 지식 속성 유형(특히 시각적 및 감각적 성질)을 특정하는 것.
• 데이터 및 지식 증강 전략을 통해 이러한 부족함을 보완함으로써 BERT의 후행 공통 지식 추론 성능을 향상시키는 것.
• 암묵적(데이터 기반) 및 명시적(지식 그래프 기반) 방법을 조합하여 맥락 표현을 향상시키는 효과를 평가하는 것.

제안 방법

• CSLB 의미 규범 데이터셋의 객체 속성 예측을 위해 로지스틱 분류기를 사용하여 BERT의 맥락적 표현을 탐색하며, (객체, 속성) 쌍을 [CLS] c_prefix 명사 c_affix 형용사 c_postfix [SEP] 형식으로 포맷한다.
• 특정 속성에서 BERT의 저성능을 기반으로 RACE 데이터셋의 최소한의 예제 서브셋을 선별하여 BERT를 암묵적으로 피니팅함으로써, 더 적은 데이터로 후행 추론 성능을 향상시키는 것.
• BERT 피니팅 중에 사전 학습된 지식 그래프 임베딩(ConceptNet, WebChild, ATOMIC)을 통합하여 누락된 공통 지식을 명시적으로 통합하는 것.
• 암묵적 RACE 피니팅과 명시적 지식 그래프 임베딩을 조합하여 추론 성능 향상의 상호보완적 효과를 활용하는 것.
• 로지스틱 분류기에서의 속성 적합도 점수를 사용하여 임베딩이 특정 공통 지식 특징을 얼마나 잘 인코딩하는지 정량화하며, GloVe와 BERT를 597개 속성에 대해 비교한다.
• MCScript 2.0 공통 지식 추론 벤치마크에서 후행 성능을 평가하여 속성 탐색 결과와 실제 추론 성능 향상 간의 연관성을 확인하는 것.

실험 결과

연구 질문

• RQ1 BERT 임베딩은 시각적, 감각적, 기능적 속성과 같은 공통 지식 속성을 얼마나 잘 인코딩하는가?
• RQ2 BERT의 맥락적 표현에서 부족한 공통 지식 속성 유형은 무엇인가?
• RQ3 RACE 데이터셋의 속성 부족 기반 최소 서브셋으로 BERT를 피니팅하면 후행 공통 지식 추론 정확도가 향상되는가?
• RQ4 지식 그래프 임베딩(예: ConceptNet, ATOMIC)을 통합하면 BERT의 추론 성능이 추가로 향상되는가?
• RQ5 암묵적 데이터 기반 피니팅과 명시적 지식 그래프 통합을 조합하면 공통 지식 추론에서 상호보완적 향상이 이루어지는가?

주요 결과

• BERT는 GloVe보다 속성 분류에서 뚜렷한 승리를 거두지만, 여전히 시각적 및 감각적 속성에서 성능이 열등하여 공통 지식 인코딩의 지속적인 격차를 보여준다.
• 속성 부족 기반으로 선별된 RACE 데이터셋의 최소 서브셋으로 BERT를 피니팅하면 MCScript 2.0에서 정확도가 2% 향상되며, 이는 전체 RACE 데이터셋을 사용한 성능과 동일한 결과를 낸다.
• 지식 그래프 임베딩을 통합하면 후행 정확도가 최대 1.2%p 향상되며, 특히 ConceptNet이 가장 큰 향상을 이끌어내어 83.3%의 정확도(지식 그래프 없이 82.1%)를 기록한다.
• RACE 서브셋 피니팅과 모든 지식 그래프 임베딩을 조합하면 MCScript 2.0에서 최고의 정확도 85.5%를 달성하여 상호보완적 성과를 입증한다.
• 지식 그래프 임베딩의 효과는 데이터 피니팅과 별개로 나타나며, 두 방법을 함께 사용할 경우 1%p 이상의 절대적 정확도 향상이 이루어진다.
• CSLB 의미 규범 작업은 부족한 속성을 식별하는 데 효과적이며, 이 분석 기반의 데이터 선택이 최소한의 데이터로 고성능의 후행 결과를 이끌어낸다.